조선 세종 때의 문신인 김담(1416∼1464) 선생의 묘소를 지키기 위해 묘 아래에 영조 29년(1753)에 지은 건물이다. 선생의 호는 무송헌이며 20세에 벼슬길에 올라 여러 관직을 지냈다. 특히 천문학에 밝아 왕명에 의해 조선 역학의 기본이 된 우리나라 최초의 역법서인『칠정산외편』을 만들었다.
재사는 앞면 5칸으로 왼쪽 둘째칸에 대문을 달았고 문간의 왼쪽에 직각으로 누 4칸을 꾸몄다.
창틀의 구조 및 벽에 설치된 조명시설 등 우리나라 옛 생활과 관련된 양식이 잘 남아 있어 한국 건축사 연구에 좋은 자료가 되는 건물이다.