当山の由来は、今から約1300年前（白鳳元年）のある不思議な出来事に拠っている。

当時、この辺りには海岸線が広がっていた。夜毎海上に光るものがあり、村人は光の正体について様々な憶測をたてるも、その正体はなんなのか分からずにいた。

壬申二月十一日のこと、村に住む、一人の老人が夢を見た。夢の中で、老人は海上に光るものの源を見極めようとしていると、光は次第に海岸に近づいてきた。その光るものは「慈眼視衆生、福聚海無量（じげんじしゅじょう、ふくじゅかいむりょう）」という観音経の一説を唱えていた。

驚いた老人が頭をたれ合掌すると、その光は観音菩薩の姿となり「御堂を建て、我を祀れ」と言う。夜が明け、老人が海岸に出てみると、果たせるかなそこには一体の観音像が漂着していた。

慈悲深い老人は、お告げに出てこられた観音様は、この像であったかと思い至り、お堂を建立することとなる。そのお堂が、今日の当山、普門寺の始まりである。