大日霊貴神社の北約100ｍ、77段の石段の先に曹洞宗の瀧沢山吉祥院の山門がある。
山門を潜ると両側に、六地蔵や古い石塔が並んでいる。門の先には見晴らしのよい風景が広がっている。
大きな本堂の左側には、吉祥院由来碑と観音像が立っている。
由来碑には、大日堂と同じく前身は、ダンブリ長者の徳を讃えて勅願によって創建したとされ、その約200年後の養老２年（718）元正天皇の命により、行基が大日如来を自彫して再興したとされる養老山喜徳寺大日堂の６房の一つであり、継体天皇の后になったダンブリ長者の一人娘・吉祥姫の菩提を弔った寺である。
本堂の右手には、吉祥姫の墓がある。ダンブリ長者の伝説によると、昔、出羽国田山村に篤信の貧農夫婦が住んでいた。畑作業の合間の昼寝時、夢枕に飛んできたダンブリ（トンボ）の導きで霊酒を発見し、これが万病に効くことからたちまち億万長者になった。
夫婦の娘は継体天皇の后となり吉祥姫と呼ばれ、皇子五の宮を生んだ。その後、養老元年に美濃国で養老の滝が発見されるとダンブリ長者のことが話題となり、元正天皇が吉祥姫と皇子の供養にと行基を遣わし、再興されたという。
吉祥姫が亡くなる時に、両親のそばに行きたいとの願いから近くに葬られ、その墓の印として都から携えられ植えられた銀杏の木にはおっぱい（気根）が沢山つくようになった。その場所が今の吉祥院にあたり、その大銀杏は台風で倒れたが、その気根は今でも残っているという。
平安時代になって平泉・藤原氏の庇護を受け、中尊寺の影響により天台宗となり「養老山吉祥院」と称していたが、藤原氏滅亡後の戦乱で狐狸の住処となっていたのを慶長８年（1603）に角館雲巌寺の７世華厳快雪和尚が曹洞宗の寺院として復興し「瀧沢山吉祥院」に改めた。
吉祥院の本尊は、釈迦牟尼仏である。
