養老五年（７２１年）、行基菩薩が開基。阿弥陀如来を本尊として現在地より、東三キロメートル菩提山（３１２Ｍ）に山寺としてあった。
天長元年　弘法大師が毘沙門天像を刻んで守護佛として安置。
当寺は　藤目城主の菩提寺としてつとに知られ、密性上人は顕密に秀いで藤目城主　斎藤下総守の帰依を受ける
弘治四年（１５５６年）長曽我部元親の讃岐の国乱入の折、藤目城は落城、当寺も兵火を受け焼亡する。
藤目城は四方堅として、東に弁財天、南に不動明王、西に地蔵菩薩、北に毘沙門天を配していたが
北方の毘沙門天は当寺の尊像で藤目城落城の折、奇しくも難をのがれて、再び当寺に奉祀された。
本尊　如意輪観世音菩薩は、半伽思惟の像容で六臂、法輪を転じ、一切衆生の願いを叶える観音である。
この如意輪観音は紀伊の郷にあった精光寺の本尊であったが、慶長七年（１６０２年）精光寺と辻が里の大善寺を合併し
美濃国　山下才治郎によって　再興されて　当寺に祀られ今に至っている。