高遠美術館に近い南ゲートから高遠城址公園に入ることができる。高遠城は、三峰川と藤沢川に削られた河岸段丘上の突端に位置している。段丘上から見ると平城のように見えるが、他の三方から見ると川岸から80ｍもの高い丘の上にある山城の姿をしているため平山城といわれる。城址公園の南端に近いこの辺りは、法幢院曲輪と呼ばれる。
高遠は古くから伊那谷の要所だったため、そこを手に入れた武田信玄は天文16年（1547）高遠城を改築した。武田氏による高遠支配は35年間続いたが、織田信忠と仁科五郎盛信の攻防を最後に戦乱の時代に幕を閉じた。明治４年に廃藩置県となり、翌５年に高遠城の建物は民間に払い下げられ、旧藩士達が桜の馬場から桜を移植した城跡は、明治８年に城址公園となった。前方の林の中に白兎橋が見える。
南のはずれに大きな石碑が見える。石碑の表は、元高遠町本町の商人・廣瀬省三郎（俳号、奇壁）の句碑で、遠く東の仙丈ケ岳（3033ｍ）を眺めて詠んだもの。題字の「嶽色江聲」は、高遠町出身の画家・中村不折の揮毫による。
斑雪高嶺朝光鶯啼いて居（はだらたかねあさかげうぐいすないてい）奇壁
裏面は河東碧梧桐の句で、西の木曽駒ケ岳（2858ｍ）の眺望を詠んだものである。
西駒は斑雪（はだれ）てし 尾を肌脱ぐ雲を 碧梧桐
高遠城といえば春の桜が有名だが、白兎橋辺りでは秋の紅葉も真っ盛りである。
高遠城址公園内に石垣や当時の城の建物はないが、空堀や土塁跡は残されていて、国の史跡に指定され、日本100名城にも指定されている。
白兎橋を渡った辺りは南曲輪と呼ばれ、東には仙丈ヶ岳を中心に南アルプスの山並みが見える。
この南曲輪辺りは紅葉が盛りを過ぎて真っ赤なもみじの葉がいっぱいに敷き詰められている。
春になると、この南曲輪から満開の桜越しに雪をかぶった南アルプスを眺める絶景はよく取り上げられる。タカトオコヒガンザクラは、明治８年ごろから植え始め、樹齢130年を越える老木を含め、現在では約1500本の樹林となっている。花形はやや小ぶりで赤みを帯び、「天下第一の桜」と称されるほどで、県の天然記念物に指定され、「さくら名所百選」にも選ばれている。
散ってしまったモミジもあれば黄色やまだ緑のモミジもあって、空をバックに見上げると、また違った風情を楽しむことができる。
高遠城址公園には約250本のモミジ（カエデ）が色づくとされ、11月になると中旬まで秋祭りが開催される。この大きな葉はオオモミジであろうか。イロハモミジなど園内には４種類のモミジがあるといわれる。
