소요당 윤언례 선생이 조선 선조 8년(1575)에 세웠으며 순조 10년(1810)에 다시 지었다. 선생은 곽재우 장군이 조직한 의병활동에 적극 참여하였다.

귀음재는 앞면 5칸·옆면 3칸으로 지붕 옆면이 사람인(人)자 모양인 맞배지붕이다. 집의 구조는 ㄷ자형으로 가운데 3칸은 대청이며 동쪽은 방 2칸, 누마루 1칸으로 육영재라 하고, 서쪽은 방 2칸, 부엌 1칸으로 신추당이라 한다. 귀음재 앞에는 창고인 고직사와 하인들이 살았던 행랑채가 있다.

귀음재는 곽재우 장군의 훌륭한 부하였던 윤탁과 세자좌빈객을 지낸 윤선이 뜻을 세워 공부하던 곳으로 그들이 쓴 책들을 보관하고 있는 유서 깊은 곳이다.