김유신·최치원의 영정과 홍유후·설총·문창후의 위패를 모시고 있는 서원이다. 680년경에 지었고 1919년 지방유림들이 다시 지었으며, 경주 서악서원의 이름을 본따 남악서원이라고 이름지었다.

경내에는 사당, 서원 2동의 재, 솟을대문이 있다. 사당은 앞면 3칸·옆면 1칸의 규모이며 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕이다. 서원은 앞면 4칸·옆면 2칸 규모에 지붕은 팔작지붕이고, 대청이 없이 툇마루가 확장되어 대청의 기능을 한다. 서원 좌우에 마주보고 있는 재는 각각 앞면 4칸·옆면 2칸 규모이다.