鳥取県東南部に位置する智頭町の中心地に旧宿場町の智頭宿がある。奈良時代以来の畿内と因幡を結ぶ道でもあった智頭往来（因幡街道）と、備前街道が合流する地にあって、両街道の宿場として栄えた歴史を持つ。智頭往来は歴史の道百選と遊歩百選に選ばれており、沿道には社寺や町屋などの古建築が現在も残っている。
智頭宿は藩政時代になり、鳥取藩初代池田光仲公の参勤交代の宿泊地として本陣が置かれると、町屋が軒を並べ町方・在方・他国商人との交流で賑わうようになった。あまり繁盛したので、弘化元年（1844）にはとうとう小売商人の逗留を禁止したほどだった。旧街道沿いには近世の町割を継承しながら建てられてきた近代の和風建築群が今も残り、その代表格が石谷家住宅である。重厚な大門で人々を出迎え、3,000坪という広大な敷地に部屋数が40以上ある邸宅、７棟の蔵、美しい庭園を持つ。
石谷家は元禄年間（1688~1704）の初期に鳥取城下から智頭に移り住んだ旧家であり、江戸時代には大庄屋を務めつつ地主経営や宿場問屋を営み、明治に入ると大規模な林業を営む事業家、国政に参加する政治家としても活躍してきた。
大門をくぐってすぐ左手にあるのは門番小屋である。当初は人力車の車庫、車夫の待機場所として使用されたが、その後は自動車の車庫と従業員の更衣室として使われ、車庫は昭和初期に増築されて広くなった。
大門をくぐってすぐ前に見えるのは式台のある本玄関である。藩主が本陣に宿泊するとき、随行の上級武士は当時在役人であった石谷家に宿泊した。その名残として家の格を示すために武家風の式台が作られた。
式台の左手に見えるのが母屋である。桁行11間半、梁間７間、２階建。入母屋造桟瓦葺きの大屋根の四周に桟瓦葺きの庇屋根を巡らせた大規模な建築である。江戸時代の庄屋建築を、大正８年（1919）以降、当時の当主で衆議院議員・貴族院議員を務めた石谷伝四郎が改築造営したもので、様々な様式が調和した豪壮な邸宅は近代和風建築の傑作とされ、国の重文に指定されている。
母屋の入り口は高さ14mの広大な吹き抜け土間となっている。松の巨木を用いた梁組が伝統的な豪農の造りとなっていて、豪壮な雰囲気を醸し出している。土間を一段上がると囲炉裏の間。家族の内玄関でもあり、出入りの人たちと家人との情報交換の場でもあった。
囲炉裏の間の右手に電話室があり、その脇の先に主人の間がある。石谷家では大正10年に電話、大正３年に電気が引かれた。
主人の間と本玄関の間に和室応接がある。数奇屋風仕様で、書院の欄間には石谷邸と諏訪神社の透かし彫りが施されている。床の間に床柱を建てない変わった造りである。
囲炉裏の間より新座敷、江戸座敷へと通じるのは畳廊下という。幅１間の畳36畳敷。襖には市河米庵の書がずらりと並んでいる。市河米庵は江戸時代後期の書家。安永８年（1779）江戸京橋に生まれ、柴野栗山に学び、後年その門に遊ぶもの数千名を超えたという。安政５年（1858）没。巻菱湖・貫名海屋とともに幕末三筆と称された。
新座敷は昭和16〜17年に全面改装され、新建座敷とも呼ばれる。造作材には春日杉、床柱は屋久杉の笹杢（ささもく）を使用し、床壁は和紙の袋張りの書院造り、縁板は幅広の欅板を使い、贅を凝らした作りである。
石谷家の庭園は、江戸座敷・新座敷に面した池泉庭園、その北側に続き、主屋上手に面した枯山水庭園、そのさらに北に続き離れに面した芝生庭園とからなる。この池泉庭園は大正新築工事以前の築庭だが、時期は不明である。石谷氏庭園として、国の登録記念物に指定されている。
石谷家住宅の真向かいに消防屯所がある。正式には智頭消防団本町分団屯所という、昭和16年（1941）に建設された現役の消防屯所である。塔屋に火の見櫓が付く洋風建築が、歴史的建造物として、国の登録有形文化財に登録されている。
