이 곳은 『삼국유사』에 나오는 연오랑세오녀 전설이 있는 곳이다.

신라 제8대 아달라왕 4년(157)에 신라 동쪽 일월동 바닷가에 어부인 연오랑과 베를 짜던 세오녀 부부가 살고 있었다. 어느날 연오랑이 고기를 잡고 바위에 앉아 해초를 따던 중 갑자기 바위가 움직여 동쪽으로 흘러가 일본의 섬나라에 도착하였는데, 그곳 사람들은 이를 신비하게 여겨 왕으로 모셨다. 한편 세오녀는 연오랑을 찾아 헤매다가 그의 신발을 발견하고 바위에 서니 바위가 다시 움직여 연오랑이 있는 섬에 도착하여 왕비가 되었다고 한다.

그 후 신라에는 해와 달이 없어져 천지가 어두워졌는데, 아달라왕이 그 이유를 알아보니 연오랑과 세오녀가 바다를 건너가고 없어 빛을 잃었다고 하였다. 이에 왕은 연오랑과 세오녀에게 신라에 돌아오도록 명령했지만, 그들은 하늘의 뜻으로 이곳에 와서 왕과 왕비가 되었으니 돌아갈 수 없다고 하면서 세오녀가 짠 비단을 주며 하늘에 정성껏 제사를 지내라 하였다. 이에 제사를 지내니 해와 달이 다시 환하게 빛이 났다고 한다. 이때부터 제사를 지내던 곳을 일월지라고 부르며 지금도 이곳을 일월향이라고 부르고 있다.