백암사의 연혁에 대한 기록은 남아 있지 않다. 그러나 옛 보원사에는 99개소의 암자가 있었고 100번째 암자인 백암사를 지은 후 모든 암자가 불에 타서 없어졌다는 이야기가 전해지는 것으로 보아 보원사는 가장 융성하던 시기인 고려 전기에 세웠다가 소멸된 것으로 짐작한다.

현재 이곳에는 약 2000여 평의 절터와 세울 당시 쌓은 것으로 보이는 석축이 부분적으로 남아 있다. 또한 석등과 석탑의 일부분이 남아 있는데 그 제작 기법과 모양을 보아 고려시대에 제작된 것으로 추정한다.