備前国と備中国の境の吉備の中山（175m）の北西麓に北面して、備中国一宮・吉備津神社が鎮座しているが、こちらの北東麓には備前国一宮・吉備津彦神社が鎮座する。主祭神は吉備津神社と同じく大吉備津彦命だが、草創期には中山全体が神域であったとみられ、大化の改新を経て吉備国が３国に分割された後、備前国一宮となった。吉備は古代、畿内や出雲国と並んで勢力を持ち、巨大古墳文化を有していた。５世紀に雄略天皇の中央集権化のため、反乱鎮圧の名目で屈服を迫られ、持統天皇３年（689）の飛鳥浄御原令により備前・備中・備後に分割されるほど、大和政権から恐れられた地方豪族の国であった。中世以後は宇喜多氏、小早川氏、池田氏など歴代領主の崇敬を受けた。
八脚門の随神門は、元禄10年（1697）池田綱政が造営したもので、二柱の門番の神が祀られている。左が豊磐窓命、右が櫛磐窓命である。
その右後ろに立つ灯籠は、安政の大石灯籠という。六段造りで、高さは11m、笠石は八畳敷の広さがあり、日本一といわれる。石に彫られた寄付者名は1670余名で、5676両（約1億3000万円相当）の浄財が寄せられ、安政６年（1859）に建立された。
社伝では推古天皇の時代に創建されたとするが、初見の記事は平安後期になる。戦国時代に松田氏による焼打ちで社殿は焼失した。江戸時代になり池田氏によって社殿が造営され、元禄10年（1697）には、本殿・渡殿・釣殿・祭文殿・拝殿と連なった社殿が完成した。昭和５年（1930）に失火により本殿と随神門以外の社殿・回廊を焼失した。現在見られる社殿は昭和11年（1936）に完成したものである。拝殿は正面七間である。
拝殿の右手前に神木の大杉が立っている。樹齢千年以上とされ、平安杉と呼ばれている。
吉備津神社と同様、相殿神として、次のような大吉備津彦命の子孫や父や兄弟を祀る。孝霊天皇（７代、父）、孝元天皇（８代、兄弟）、開化天皇（９代、孝元天皇の子）、崇神天皇（10代、開化天皇の子）、彦刺肩別命（兄）、天足彦国押人命（５代孝昭天皇の子）、大倭迹々日百襲比売命（姉）、大倭迹々日稚屋比売命（妹）、金山彦大神、大山咋大神。
社殿は夏至の日に正面鳥居から日が差し込んで、祭文殿の鏡に当たる造りになっている。そのため吉備津彦神社の別称「朝日の宮」は、これに因むという。拝殿から祭文殿、渡殿、本殿と連なっている。
これは拝殿を右側（北西）から見たところ。左の側面は、お祓い・祈祷の登殿口となっている。
祭文殿、渡殿、本殿と重厚な社殿が連なる様は壮観である。渡殿より奥は地面が高くなっている。
本殿は元禄10年（1697）の再建である。桁行三間梁間二間の檜皮葺流造。千木は付けられているが、鰹木は珍しく左右に２本のみである。
本殿裏手には小さな楽御崎神社が祀られている。彼方右後ろの高台には子安神社が建っている。朱色の梁や柱と白壁が美しい子安神社は、吉備津彦神社本殿より古く、藩主の池田光政が健康に優れなかったところから、その祈願のために寛文12年（1672）に建てられたという。一間社流造銅板葺で、蟇股や高欄柱に付けられた擬宝珠などに桃山時代の様式を残している。
子安神社の右手奥（北）には、七つの末社が並んで鎮座している。手前より下宮（倭比賣命）、伊勢宮（天照大神）、幸神社（猿田彦命）、鯉喰神社（楽々森彦命荒御魂）、矢喰神社（吉備津彦命御矢）、坂樹神社（句句廼馳神）、祓神社（祓戸神）。
子安神社や七つの末社に上る参道の右手に、学問の神・菅原道眞を祀る天満宮が建っている。社殿の老朽化に伴い明治末期に別の末社に合祀されていたが、平成17年に社殿が再建された。
