鐘楼の左手にある大きな方丈は、明和２年（1765）に建立され、国内屈指の葭葺屋根の広さ（約1000㎡）が有名だが、残念ながら修理中でまったく拝観できなかった。鐘楼の先には禅堂が建っている。禅堂ではもちろん座禅が行われる。
「普照」と書かれた額が掲げられているのは、たしか禅堂に続く建物である。
その中には小さな仏像が安置されていた。
禅堂の左に向き合って建つ、法堂の左手前に芭蕉の句碑が建っていて、その少し左手前には小さな「瑞石」がある。
「こんにゃくのさしみもすこし梅の花」
元禄６年（1693）芭蕉50歳の時の作である。
蒟蒻は当地の名産であり、永源寺開山の寂室禅師が中国の手法を伝えたとされる永源寺コンニャクが、当山参拝土産として、門前周辺で売られている。「瑞石」は山号の起源となった石で、飯高山の「霊石」を運ぶ際、数百人の人手が必要な重さにもかかわらず、十数人で持ち上げられ、そのうえ霊石が自ら動いたといういわれをもつ。そのため霊石は「瑞石」と名付けられ、瑞石にちなんで山号が瑞石山に変えられた。
芭蕉の句碑の先、左側に法堂兼仏堂が建っている。享保13年（1728）に朴宗禅師により再建されたものである。
法堂の堂内中央には、後水尾上皇が寄進した釈迦牟尼仏が、右に迦葉尊者が、左に阿難尊者が安置されている。この法堂は、当山古例の諸法要を行うところである。
法堂のさらに先、同じく左側に開山堂が建っている。享保10年（1725）彦根藩主井伊直惟より能舞台の寄進を受け再建された。
開山堂は大寂堂ともいわれ、入り口に掲げられた「大寂」の扁額は、寂室禅師が師事した元の中峰明本の直系の大禅師である黄檗宗の祖・隠元の直筆である。
堂内には寂室禅師（正燈国師）を祀る。禅師は31歳より７年間中国で修行を重ね、帰朝後は各地を行脚説法の旅を続け、晩年72歳で領主佐々木氏頼に迎えられ永源寺に入寺開山された。ここが貞治６年（1367）78歳で示寂された禅師の墓所である。
開山堂の右に向き合って建っているのが経堂である。延宝４年（1676）佐々木満高が再建した。
内部の転輪蔵には寛文12年（1672）南峯禅師が中国に渡り買い受けた、明版大蔵経が納められている。転輪蔵の手前には、起源とされる傳大士とその二子による三尊像が奉安されている。
境内の一番奥にある含空院は真新しく、建て替え工事が終了間際であった。従前の含空院は、最初、考槃庵として永和３年（1377）に建立され、足利義持が来山したとき含空院と改名した。永禄６年（1563）の兵火で焼失後、正保４年（1647）如雪文岩禅師により再興されてから、歴代管長の住まいとなっていた。裏手の庭園が美しいことで知られる。
