土肥金山は、建徳・文中・天授（1370年代）の時代、足利幕府直轄の金山奉行が土肥を支配し、盛んに金を掘ったのが始まりと伝えられる。天正５年（1577）土肥の大横谷、日向洞、横山、柿山、鍛冶山の五箇所を開発、この頃より土肥の金山が本格的に採掘される。
慶長６年（1601）徳川家康が伊豆の金山開発に力を注ぐ。慶長11年（1606）幕府金山奉行大久保石見守長安が伊豆金山奉行も兼ね、掘削方法、水抜法等の新技術を導入し産金量を増大させたので、土肥の金山は隆盛を極め、土肥千軒と称したという。
長安が没し、次の伊豆金山奉行市川助衛門が没すると土肥金山は衰退し、寛永２年（1625）には休山となる。明治末期から大正６年にかけて神戸の実業家硑五郎により採掘が再開されたが、戦後には生産量が減少していき、昭和40年に鉱量枯渇のため閉山し、昭和47年に観光坑道として一般公開された。閉山までの掘削坑道の総延長は約100kｍ、深さは海面下180ｍに及ぶ。その間の推定産出量は、金40t、銀400tである。１tの鉱石から金はわずか600gしか取れない。
観光坑道の内部には、江戸時代の採掘作業の風景を等身大の電動人形が再現している。坑内巡りの長さは約400ｍ、所要時間は約20分という。
最初の突き当たりに山神社が祀られている。祭神は大山祗尊である。古来、大山祗尊は金山守護の神であり、金穿たちは出入りには必ず礼拝して作業の安全と黄金の幸を祈るのがしきたりで、この伝統は現代の坑夫にも引き継がれているそうだ。黄金の鳥居は全部純金箔が施されているが、もちろん剥がされないようにシールで保護されている。
切羽（坑内の採掘現場）が深くなると地下水が湧出するので、水貫（排水坑道）まで水を汲み上げる。この作業を手繰り水替という。
ここが採掘現場で切羽という。江戸時代には女性も坑内で働くことが多く、夫婦だと男は金掘り女は運搬の仕事をした。坑内は地熱や温泉熱で大変暑く、ほとんど裸に近い姿で働いた。
金山資料館（黄金館）には、坑外風景のジオラマや金銀鉱石、千石船模型や大判・小判などの金貨展示コーナーなどがある。１朱は250文、１分は４朱、１両だと４分で16朱、つまり銭4000文＝４貫文となる。このように江戸時代の貨幣単位は基本的に４進法であることがわかる。
江戸時代の１両の価値は各時期で差があり、米価で計算すると初期で10万円、中〜後期で３〜５万円、幕末頃には３〜４千円になるという。大判は10両だから、江戸時代初期だと100万円になる。
土肥金山の目玉は、なんといっても世界一の巨大金塊であろう。重量250kgでギネスにも認定され、時価12億円以上という。記念にその巨大な金塊を触ることができる。
他にも砂金採り体験ができる砂金館もある。１粒0.01gという砂金を30分で一生懸命選別するというものだが、視力減退の高齢者には向かない。庭には土肥桜が咲いている。
