石堂寺から南に戻り、館山市との境の加茂に、賀茂神社がある。田んぼの間に鳥居があり、くぐると田んぼの突き当たりの小高い森にさらに赤い鳥居が見える。
石段の上に赤い両部鳥居が立ち両脇には巨木が聳え、その先は昼なお暗き鬱蒼とした森になっている。
暗い石段を上り詰めると、開けた境内に社殿が建っている。かつての別当寺日運寺の住持日翁が文久元年（1861）に著した賀茂社略縁起や由緒書によれば、山城国久我より安房国渚南といわれたこの地に移り住んでこの一帯を支配していた加茂氏が、和銅５年（712）一族の守護、賀茂別雷神の分霊を祭祀したのが創祀という。天正年間（1573~93）に社領朱印地３石を寄せられ幕末まで保持した。
拝殿の扉には、二葉葵の神紋が貼付けられている。山城国の賀茂別雷神社の神紋、二葉の加茂葵紋と同じである。
覆屋内に安置されているという１間社流造杮葺きの本殿は、現存する銘札から天正２年（1574）の造営とみられ、蟇股や斗栱、妻飾り・軒回りなどの構成に室町時代末期の特色をよく残しているそうで、千葉県の有形文化財に指定されている。
現存の拝殿と後ろに続く本殿は、昭和６年に再建されたもので、天正２年造営の本殿はこの中に安置されていると思われる。主祭神として、賀茂別雷命を祀る。
神社入口左には、普段見ることができない天正２年造営の本殿の写真が掲示されていた。８月初めの八朔祭には、県の無形民俗文化財に指定されている「加茂の三番叟」と「加茂の花踊り」が奉納される。
拝殿に向って左手前に大きな木造の建物がある。
中には祭礼に使う道具類や神輿が安置されている。
