巴川沿いの三洲足助屋敷から上がってくる参道に合流してさらに進むと、石段・石垣の上に香積寺が見えてくる。
曹洞宗飯盛山香積寺の開基は、関白二条良基、足助重範の娘・滝野と、孫である成瀬三吉丸基久・基直（成瀬氏の先祖）などで、滅亡した足助氏の菩提を弔うために飯盛山の足助氏の居館（飯盛山城）跡に建立された。寄棟造本瓦葺きの本堂の左脇には、開山当時から寺の鎮守として豊栄稲荷が祀られている。
香積寺は応永34年（1427）白峰祥瑞禅師により開山され、寺号は維摩経香積仏国品から名付けられた。本尊として聖観世音菩薩が安置されている。
香積寺には毘沙門天像も祀られている。香積寺で最も古い仏像とされる。
本堂左手には坐禅堂がある。江戸時代後期の建立という。入り口左手前には、松本たかしの句碑がある。高浜虚子の高弟で、没年前年（昭和31）に香積寺で詠む。
「茂山に在り隠然と古道場 たかし」
坐禅堂の内部には、文殊菩薩像が祀られている。日本曹洞宗の祖・道元は、ひたすら坐ることに打ち込む只管打坐を唱えている。曹洞宗では、壁に向かって坐蒲に坐り続ける面壁坐禅が基本である。壁には「頭を空っぽにし、心を空っぽにし・・・」と、坐禅の心得もたくさん貼られている。
本堂の左手に建つのは経蔵で、指月堂とも呼ぶ。一切経をおさめる蔵で、本尊として傅大士を祀っている。指月堂とは月を指差すお堂のことで、月は真理・悟りを表し、経本は指差す方向を表すという。
本堂の左奥には飯盛山に登る道があり、その左手にはどういうわけか真言宗の弘法大師堂が建っている。
飯盛山へ登る道は豊栄稲荷奥の院の参道となっていて、参道沿いには鳥居が立ち、豊栄稲荷大明神の赤い幟がはためいている。飯盛山に登っていくと、豊栄稲荷のほか歴代住職の墓や十六羅漢の石仏、足助城主の墓、装束塚、経塚などが点在する。
