조선중기에 송준길, 송시열, 윤선거, 유계와 함께 소위 충청도 산림오현(山林五賢)으로 손꼽혔으며, 호서예학(湖西禮學)의 큰 맥을 이은 巨儒이자 經濟思想家인 초려 이유태 선생이 말년을 보낸 곳으로, 선생의 사상과 정신을 계승·교육하는 전통서원의 면모를 유지하여 오고 있으며 고택과 용문서원이 자리하고 있다.

용문서원의 유래는 이유태선생이 저술하고 제자를 가르쳤던 중동서재와 용문서재에서 비롯되었는데 중동서재는 선생이 거주하던 집이 있던 것이고, 용문서재는 현재 용문서원과 종가가 있는 자리에 있던 것으로 문하생들이 거주하면서 공부했던 곳이었다. 용문서재는 후손인 호은 이재원(1773~1841)이 용문서사라 이름을 고치고 잠시 선생을 제향하기도 하였으나 관의 허가없이 사사로이 선현을 제사지내는 것은 맞지 않다고 하여 중단하였으며 초려 당시의 건축물은 항일운동으로 여러차례 옥고를 치르면서 토지조사에 불응하는 과정에서 심하게 옛모습을 잃게 되었다. 이를 안타깝게 여긴 유림과 후손들이 용문서재가 있던 자리에 용문서원을 정비 복원하였다.