양성지(1414∼1482)를 기리기 위해 1922년 세운 사당이다.
양성지는 조선시대 문신으로서 호는 눌재이다. 대사헌·이조판서 등 여러 벼슬을 지냈고 항상 나라를 위해 현실적인 정책을 연구한 인물이다. 민생을 위해 각 지방에 의료기관 설치를 주장하였고 우리나라 고유의 풍습이 중요함을 강조했으며 과거 시험에 대해서도 현실에 맞도록 바꾸길 요구하였다. 또한 귀암사 사숙을 열어 향토 교육에도 이바지하였다.
귀암사에는 선생의 공적을 적은 눌재 양선생 묘비(廟碑)가 있다.