소곡서당은 1650년경 창건된 소곡서원이 창건 200여년 후 퇴락됨에 따라 1856년 당초 서원 터에서 500여 미터 떨어진 북쪽 산기슭에 지금의 소곡서당을 건축하고 淸敏公 盧抃素(노변소), 晩翠公 參奉 盧沈, 節孝公 進士 盧弘彦 3인을 合享하다가 대원군의 서원 훼철시 피해를 입었다.

소곡서당의 현 배치형태는 튼□자 형으로, 남북축선 상에 대문채와 강당을 두고, 그 정면 좌우에 관리사와 영사정이 자리 잡고 있다.

경내 영사정은 1825년에서 1830년경에 창건된 건물로, 1925년에 강당 동편(東便)으로 옮겨 중건되었으며, 1998년에 지붕 등을 크게 수리하였다고 한다. 1998년 강당 서편에 있는 관리사를 크게 수리함과 동시에 강당의 한식기와를 철거하고 대신 근년에 공장에서 암수 일체형으로 생산되는 간이기와를 매입하여 보수하였다. 대문채는 2000년에 정면 5간, 측면 1간 규모로 신축한 건물이다.

소곡서당과 관련하여 남쪽 500여 미터 지점에 청민공묘(기념물 153호)가 자리 잡고 있고, 북쪽 500미터 지점에는 절효공 盧沈의 묘가 있다.