蓮華寺から東に200ｍほど進むと、真言宗の医王山三学院香福寺が建っている。境内の入り口に咳の地蔵堂があり、６体の地蔵菩薩が並んでいる。堂内の版木に享和２年（1802）願主・蛙鳴の説明文がある。「当山は天平の末より大同の始めに至り、行基菩薩、弘法大士の霊場にして、その年間に関の地蔵尊をここに迎え奉りき。せき症の者は必ず南蛮を奉り祈願を成せば忽ち報ひ給ふ。是れ皆一念真実の結縁霊場の利益を蒙りし同士、佳吟を賽に加え奉り猶ほ仏徳を祭る事となりぬ。」
香福寺は高遠だけでなく上伊那でも最古の寺で、縁起書にはおおよそ次のように書かれている。「当山は天平17年（745）僧行基が諸国歴遊の折この地にお堂を創建し、自ら薬師如来像を彫り本尊として安置し、法相宗の医王山幸福寺と称した。」苔むした参道には石仏がたくさん並べられていた。
「弘仁14年（823）この地を訪れた僧空海が、狭い薬師堂の他に本堂を建立し、大日如来を本尊として真言宗に改宗した。その後天正10年（1582）織田軍の兵火で焼失したが、大日如来と薬師如来は焼失を免れた。その後、高野山の僧亮戒が本堂を再建した。元和年間（1615~23）、高遠城主保科正光の命で香福寺と改称した。文政４年（1821）本堂焼失後、文政６年（1823）僧品竜が本堂を建立し」現在に至り、薬師堂となっている。真言宗を以って正宗とし、法相・三論の二宗を兼学とするため、山号を医王山三学院という。
境内は城山の麓の斜面に沿って東に伸びているので進んでいくと、弘法大師像の右手に鳥居が立っている。
鳥居の先には小さな玉宮神社と太子堂が並んで建っている。
玉宮神社の由緒によると、昔、烈しい疫病が流行した時、白髪の老人が、吾亡き後祭りて帰依すれば難病は退散消滅するという。村人が玉宮神社を祀ったところ疫病が消滅して旧に復した。この老人こそ化現せる伊勢皇大菩薩権現として、当山鎮守稲荷大神とともに祀って現今に至る。
玉宮神社の右手には聖徳太子堂が建っている。享保４年（1720）２月８日、高遠地方の職人たちが信心を発して聖徳太子像を造り、仏堂を建立せんと住職に懇願したので、寺ではこれを賞して許し、現在の太子堂を建立して安置し、開眼の祭典を修して毎年この日を縁日となし、今日に及ぶという。
境内には水が絶えない薬壺石や硯石があり、風情がある。香福寺の境内からも南アルプスの山並みが見渡せる。
高遠の香福寺を最後に、杖突街道を北上して帰途につく。標高1247ｍの杖突峠を越えると、茅野市や諏訪市の市街地が広がる諏訪盆地が見渡せる。彼方には八ヶ岳連峰から蓼科山に連なる山並みが見える。
こうして香嵐渓から鳳来寺、高遠を巡る11月中旬の旅を終えた。
