弥彦山（634m）の手前にある国上山（313m）は、古来、古志郡越の山という名所であり、雲高山もしくは雲上山といわれていた。飛鳥時代より蒲原郡に属し、聖徳太子がこの山に登って雲上記を書いたとも伝えられている。
和銅２年（709）越後一宮弥彦神社の神託によって泰澄が開山したと伝えられ、当初は修験道の霊地であった。その後、法相宗・天台宗を経て真言宗の寺院になり、今は豊山派雲高山国上寺という。孝謙天皇より正一位を賜って以来、北方鎮護仏法最初の霊場とされる。
宝永８年（1711）の落慶直前に本堂が焼け落ち、中興の祖・万元上人が享保３年（1718）に現在の本堂を再建した。他の堂宇と同じく茅葺だったが、平成になってから銅板の覆屋根が設けられた。
本尊は、上品上生の阿弥陀如来であり、縁起等によれば行基菩薩の作と伝えられ、聖武天皇の后、光明皇后より奉納された霊仏と伝えられている。現在は、子年（12年に一度）の開張となっている。
本堂内陣、本尊阿弥陀如来の右側には、引声祭用神輿と延命普賢菩薩が安置されている。
阿弥陀如来の左側には、開山の泰澄大徳像が安置されている。
阿弥陀如来の裏手には、役行者像（左）と閻魔大王像が安置されている。
本堂の手前、境内に入ってすぐ左側に、大きい鐘楼堂が建っている。梵鐘と鐘楼は、正徳５年（1715）に再建され、鋳工は大窪村（現柏崎市）の歌代甚兵衛藤原寛康という。
本堂の手前左側に、六角堂が建っている。文治３年（1187）源頼朝に追われる身となった義経は、武蔵坊弁慶及び数人の家来とともに奥州藤原秀衡を頼って落ち延びる途中、寺泊を経て国上寺に参詣、今後の無事を祈願して持仏の大黒天木造を寄進したという。その後国上寺に秘蔵されてきたが、文化13年（1816）霊夢により招福利益のために六角堂を建立し、大黒天像が本尊として安置された。
本堂の手前右側、六角堂の向いに曽我禅司房の案内板がある。建久４年（1193）頼朝が富士の裾野で巻狩りの折、曽我十郎・五郎が父の仇・工藤祐経を討ち果たした。十郎はその場で討死、五郎は捕われて後に斬られた。この兄弟にもう一人の弟・禅司房がおり、縁あって国上寺に上り出家、仏道修行に励んでいたが、討たれた祐経の妻子が禅司房を召し出すよう頼朝に訴えた。禅司房は捕らえられ鎌倉へ連れられたが、斬罪になるとの風聞により読経念仏の末自ら命を断ったといわれる。
