고려말 명신이자 유학자인 이제현(李齊賢) 초상(유형문화유산)을 봉안하기 위해 보은에 처음 들어온 이사균(李思鈞)이 건립한 것으로 수차례에 거쳐 고치었다. 전면에 재실인 염수재(念修齋)와 후면에 영당(影堂)이 있고 그 사이에 내삼문을 설치하였으며 담장을 돌렸다.

1938년 영당 중수공사 때 건립되어진 것으로 추정되는 염수재는 누문(樓門)형식으로 아래층은 외문(外門), 윗층은 재실(齋室)의 기능을 갖는 복합적인 성격을 띠고 있다. 이 건물은 기단 위에 온돌을 축조한 일반적인 전통건축 형태와 달리 높이 들어 올려 온돌을 들인 독특한 형태와 구성을 보이고 있다.