■

本堂の右にはハリス記念館があり、ハリスが領事館当時愛用の遺品や、柿崎村名主浜田与平治の日記、吉田松陰の遺品、通訳官ヒュースケンに仕えたおふくの遺品、ロシア・ディアナ号将校モジャイスキー撮影の日本最古の銀盤写真など幕末開国時代の資料がたくさん展示されている。
初代アメリカ総領事館にはお吉やおふくを含め５人の女性が召使女として勤めた。下田では特にお吉の哀れな物語が有名だが、実際に勤めたここ玉泉寺では、かなり潤色されたフィクションに問題があるのではないかという冷静な視点で紹介している。

記念館の裏手を右から上っていくと北の黒船墓所、ディアナ号乗員３名、アスコルド号乗員１名の墓地がある。
ロシア使節プチャーチン提督のディアナ号は、安政大地震（1854）による大津波で下田湾で大破（水兵ソボレフ死亡）、修理のために戸田に回航の途上沈没（下士官ポショーチキン、水兵バケーエフ死亡）した。
戸田号でロシアに帰国したプチャーチン提督は、再度（1858）アスコルド号で下田に入港したが、このとき機関士ユーディンが死亡した。

本堂前に戻ると左手に日本最初の屠殺場の跡がある。当時、領事館員の食料のため仏手柑樹の幹に牛を繋ぎ屠殺した。昭和６年に東京牛肉商により牛王如来を建立し供養したという。

本堂の左手から裏手にかけて大きな墓地が広がっている。そこに屋根で保護された黒船ペリー艦隊の乗員５名の墓地がある。

嘉永７年（1854）日米和親条約が神奈川で調印されると下田は即時開港され、黒船ペリー艦隊が入港した。付録条約第５条により玉泉寺境内にアメリカ人用の埋葬所が設けられた。

右の墓石から、海軍軍医ハミルトンはサスケハナ号にて死亡、水兵パリッシュはポーハタン号にて死亡、海兵隊員ウィリアムズおよびデューナンはミシシッピー号にて死亡、ポーハタン号の火夫ストームは下田港にて死亡した。日本最初の外人墓地である。