黒木神社のある黒木山に向かう急な石段の手前には、黒木御所跡、建武中興発祥之地の標柱が建っている。
黒木山の頂上には黒木神社がある。祭神は後醍醐天皇である。銅板葺、入母屋造の拝殿にかかる扁額は、明治神宮の宮司・甘露寺受長の書。拝殿の格子にはおみくじがたくさん結ばれていた。この北側に黒木御所跡がある。
元弘元年（1331）、後醍醐天皇が鎌倉幕府の討幕に失敗し（元弘の変）、笠置山で幕府軍に捕らえられて都に移された。先の承久の乱（1221）の先例により、翌年、後醍醐天皇の隠岐配流が決定された。天皇は供奉の六条忠顕・一条行房・三位局らとともに、３月７日に都を立ち、４月上旬に隠岐に移された。ここが隠岐に配流された際の行在所跡と伝えられる、黒木御所跡である。
「太平記」には、「京都を御出あって後、二十六日と申すに御船隠岐国に著きにけり。佐々木隠岐判官貞清、府島という所に黒木の御所を作りて皇居とす」とある。元禄16年（1703）の島前村村神名記によれば、後醍醐天皇を祭神とした黒木社のことが記されていて、江戸中期以前から祀られていたと推測されている。伝承によれば、黒木の杜を天王山と称し素足で登る風習が明治まで続いたという。明治になり黒木神社と改称された。ところが明治になって本土の学者たちの研究により、「増鏡」の記述などから島後の国分寺説が浮上、国がそれを認めたため、論争となっている。西ノ島には、宇賀宇野家、別府近藤家、美田木村家、美田八幡宮など後醍醐天皇にまつわる伝承が多く残されている。なお、後醍醐天皇は、在島一年足らずで隠岐を脱出、伯耆国の豪族・名和長年に迎えられ、船上山で旗揚げし、やがて京にのぼり鎌倉幕府を倒した（建武の新政）。その後、足利尊氏との戦いに敗れ、吉野に逃れて北朝を開くが、病に倒れ波乱の生涯を閉じた。
ここには後醍醐天皇の歌碑が建てられている。「こころざす かたをとはばや 波の上に うきてただよふ あまのつり舟」とある。意味は、「こころざし（倒幕）のため（脱出して帰る）方角はどちらか、波の上に見える海士（漁師と地名両方の意味がある）の舟に聞いてみたいなあ」と解釈されている。
黒木御所跡と別府港との中間ほどに、西ノ島ふるさと館という歴史民俗資料館がある。農機具、漁具、生活用具や、埋蔵文化財、ジオパークや動植物コレクションなど多岐にわたる資料が展示されている。隠岐の黒曜石は、旧石器時代から石器の材料として利用されてきた。主な産地は島後（隠岐の島町）にあるが、西ノ島町の美田・小向遺跡からも黒曜石片がたくさん出土している。
美田の兵庫遺跡は古墳時代の祭祀場の遺構で、祭祀用の土器や玉類のほか、鎌や刀子、鉄鏃などの鉄器も多く出土している。
浦郷の日吉神社で西暦偶数年に奉納される庭の舞は、今から800年前に近江国甲賀郡真野庄の領主であった真野宗源が戦乱を避けて隠岐に逃れた際に伝わったものという。東遊に倭舞の要素が混入したものといわれる。美田八幡宮と共に平成４年に国の重要無形民俗文化財に指定されている。
