高麗神社は、聖天院から歩いて数分である。唐・新羅連合軍により高句麗が滅ぼされて日本に亡命してきた渡来人を、668年に朝廷はこの地に移住させた。703年には高麗若光が朝廷から王（こきし）姓を下賜された。
高麗神社は、この若光を祭神として祀っている。霊亀２年（716）には、武蔵国に高麗郡が設置されている。神仏習合の時代には、高麗家は修験者として別当を勤めていた。
高麗大宮大明神、白髭大明神と称されていた社号は、明治以降は高麗神社と称されるようになった。近代になって、水野錬太郎、若槻禮次郎、浜口雄幸、鳩山一郎等の政治家が参拝し、その後相次いで総理大臣に就任したことから、別名、出世明神とも呼称されている。
高麗王若光は猿田彦命を祭祀し一社を建立、そこに武内宿禰を合祀して白髭明神として崇敬していたが、天平２年に若光が亡くなると高麗郡民が徳を偲んで高麗明神として霊を祀り、後に白髭明神に合祀して高麗大明神としたのが高麗神社の創祀である。
扁額には、高麗神社に句の字が小さく書き込まれ、高句麗神社となっている。
若光の子孫は代々高麗神社の宮司を勤め、現に59代に及んでいる。参集殿には、複製であるが高麗氏系図が展示されている。
社殿の裏手に高麗家住宅が残されている。伝承では慶長年間（1596-1614）の建造という。間口約７間半、奥行き約５間の入母屋造茅葺である。江戸時代初期の重要民家として国の重文に指定されている。
帰りがけに、飯能に近い宮沢湖のほとりにある宮沢湖温泉にて日帰り入浴し、ビュッフェを楽しみ疲れを癒した。
