조선시대 조대감이 지었다고 전하는 가옥으로 ‘방기옥가옥’이라는 이름은 현 소유자의 이름을 따서 붙인 것이다.

건물 형태는 안채, 사랑채, 행랑채가 하나로 연결된 ㄷ자형이다. 안채는 앞면 6칸으로 왼쪽에서부터 부엌·안방·대청·건넌방 순으로 되어 있고 건넌방 앞에는 누마루를 설치하였다. 중앙의 사랑채는 방과 부엌을 두었고, 행랑채는 안채보다 길어 서로 어긋나게 자리잡고 있다.