조선 후기에 벼슬을 지낸 박치기가 1870년에 세운 정자이다.

박치기는 벼슬에서 물러나 심신을 단련하기 위해 이 정자를 지었다고 한다. 그래서 정자 이름을 ‘퇴수정’이라고 하였다.

정자 앞으로는 시냇물이 흐르고 뒤에는 암석이 높게 솟아 있다. 받침부에 사각형 주춧돌을 놓고 그 위에 원형 기둥을 세워 이층 건물을 지었다. 건물 안에는 방 한 칸을 들였다. 정자 왼쪽에 있는 관선재(觀仙齋)라는 사당은 후손들이 세운 것이다.