정훤이 숨어 지내며 남은 삶을 보내던 곳이다.
정훤은 광해군의 포악한 정치에 휩쓸리기 싫어서 이곳에 내려와 정자를 지어 고산정이라 불렀다.
건물은 앞면 4칸·옆면 2칸 규모로,지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕이다. 앞뒤에 퇴칸을 두었고 좌우 양쪽에 대청을 두었다. 뒤를 제외한 3면에는 난간을 둘렀다.
정자와 사당을 남북쪽에 앞뒤로 나란히 二자 모양으로 배치하였는데, 사당은 앞면 3칸·옆면 1칸 규모이며 지붕은 팔작지붕이다.