Kamieniołom znajduje się w zachodniej części Góry Zamkowej, majestatycznie wznoszącej nad Chęcinami. Prace wydobywcze prowadzone w latach 40-tych ubiegłego wieku, odsłoniły prawie pionowo stojące warstwy skalne. Są to cienkoławicowe wapienie powstałe w środkowym i późnym dewonie (375-390 mln lat temu). Materiał osadowy, z którego powstały skał wapiennych gromadził się na dnie szelfu ciepłego płytkiego morza. Rozwijało się w nim bogate życie organiczne. Była to jednak strefa nieco większych głębokości, niż przedpole raf odsłonięte na Kadzielni i Wietrzni. Pozostałości dawnych organizmów można zobaczyć na wypreparowanej powierzchni wapieni w północnej części kamieniołomu. Niektóre ławice skalne są przepełnione ramienionogami, szczątkami koralowców i gąbek. Można również dostrzec różnej wielkości fragmenty ślimaków, liliowców oraz kopalnych jamochłonów - amfiporów i stromatoporów. W środkowej części odsłonięcia wśród wapieni znajdują się warstewki z twardymi skałami krzemionkowymi – tak zwanymi rogowcami.
Cała Góra Zamkowa była w przeszłości miejscem poszukiwań i eksploatacji kruszców ołowiu. Świadczą o tym liczne ślady starych robót górniczych. Wydobywana tu galena (siarczek ołowiu) zawierała również niewielkie ilości srebra.
Warstwy skalne budujące grzbiety Góry Zamkowej i Góry Zelejowej są stromo nachylone. Pierwotnie leżały one poziomo, tak jak i osady w morzu dewońskim. Waryscyjskie ruchy górotwórcze w późnym karbonie i permie (251-325 mln lat temu) sfałdowały obszar świętokrzyski. Między wspomnianymi grzbietami powstał fałd, w którym warstwy skalne zostały silnie wydźwignięte. Długotrwała erozja najpierw zrównała teren, rozcinając skały dewonu, które pełniły rolę twardej skorupy. Następnie w leżących pod nimi, mniej odpornych skałach syluru, ordowiku i kambru, wyżłobiła rozległą płaską Dolinę Chęcińską. Na krawędziach dawnego wzniesienia, jak fragmenty twardej skorupy, pozostały grzbiety zbudowane ze stromo nachylonych skał dewońskich.
