弁天道を戻り、島の中心部の島主住居の門をくぐって中に入る。平野仁右衛門の表札がかかっている。
源頼朝の伝説によると、頼朝が戦に敗れ安房に落ち延びた際、夜襲を避けて身を潜めた場所を提供したのが初代仁右衛門で、その手柄により褒賞としてこの島をもらったといわれる。
島主住居の庭にはソテツなどの暖地性植物も植えられ、キンギンナスビ（金銀茄子）という珍しい植物も見られる。
キンギンナスビ（Solanum aculeatissimum）は、別名ニシキハリナスビという、熱帯アメリカ原産の帰化植物で、明治初期に観賞用に導入され、関東地方南部から沖縄までの暖地の海岸などに生育している。草丈50〜100cｍの一年草で、全草に鋭いトゲが密生する。花は白色、実は初めは白色で緑色の縞がありその後赤くなる。
左端の玄関から中を覗くと、部屋の奥には欄間や床の間も見える。
庭の左手に奥庭に通じる門があり、中に入ると屋敷の内部を近くから見ることができる。
奥庭にも植えられているソテツは、推定樹齢が600年以上といわれる。
宝永元年（1704）に建て直されたという住居は、南天の床縁、桑の天井板、手斧削りの帯戸などが使用され、かなり格式のある建物に見える。
島には数々の伝説があるが、元禄16年（1703）に鴨川を襲った元禄地震に伴う大津波で、建物とともに系図・古文書等がほとんど流失したため、不明なことが多いのが残念である。
奥庭にある灯篭も苔むしていて歴史を感じさせる。
島主住居を通り抜けたところに、鈴木真砂女の句碑がある。真砂女は、明治末期に鴨川の老舗旅館（現、鴨川グランドホテル）に生まれ、波乱の恋に生きた人生を俳句に表現し、銀座に小料理屋を開店して幅広いファンを魅了した。鴨川グランドホテルに真砂女記念館がある。
あるときは 船より高き卯波かな 真砂女
