豊漁や海上の安全を願い、古くから不動明王が祀られ、小坪の漁師から「白瀧不動」「波切不動」と呼ばれていました。「白瀧」の名は、社左奥の崖に流れる小さな滝からきているといわれています。
明治の文豪徳冨蘆花の小説「不如帰」がベストセラーとなり、悲恋のヒロイン「浪子」にちなんで、「浪子不動」と呼ばれるようになりました。
社の前の木夫婦松と呼ばる2本の松がありましたが、1917年（大正6年）9月30日の台風の高潮により、女松がさわられ、男松1本になりました。