Rezerwat Perzowa Góra to jedno z najbardziej malowniczych, a zarazem skalistych i stromych wzniesień Gór Świętokrzyskich. Wśród okazałych buków, grabów, dębów i jaworów, a także jodeł i sosen, kryją się potężne bloki czerwonego piaskowca, których powierzchnia z czasem przybrała ciemnoszare i zielonkawe odcienie. Towarzyszą im również wychodnie szarych piaskowców kwarcytowych.
Niedaleko szczytu, pomiędzy masywnymi blokami skalnymi, uformowała się grota. Ludowa legenda głosi, że nałożone na siebie głazy są pozostałością klasztoru, który miał cudownie wyłonić się z wnętrza góry. Jego pojawienie zapowiedziała pasterzowi o nazwisku Perz tajemnicza dama ubrana na biało, wręczając mu klucz do klasztornych drzwi i nakazując, by pod żadnym pozorem go nie wypuścił. Gdy zniknęła, ziemia zaczęła drżeć, spod powierzchni wyłaniały się mury, a wraz z nimi węże i inne stworzenia. Przerażony Perz w końcu upuścił klucz, a całe zjawisko natychmiast ustało. Po niedoszłym klasztorze pozostały jedynie ogromne głazy, w których urządzono kapliczkę św. Rozalii.
Z punktu widzenia nauki niewielka jaskinia szczelinowa, w której znajduje się kapliczka, powstała w wyniku pionowego pęknięcia tektonicznego. Z czasem została powiększona i częściowo przemurowana ręką człowieka. Według tradycji to król Kazimierz Wielki polecił umieścić w niej wizerunek św. Rozalii, aby chroniła okolicznych mieszkańców przed zarazą. Wiadomo, że podczas epidemii w XIX wieku na Perzową Górę pielgrzymowały setki ludzi, a niektórzy wchodzili na szczyt na kolanach, prosząc o ratunek.
Góra wraz z kapliczką była także schronieniem dla powstańców i partyzantów. Do dziś na jej stokach zachowały się ślady okopów wykorzystywanych podczas I wojny światowej przez wojska rosyjskie, broniące się przed natarciem oddziałów austro-węgierskich od strony zachodniej. Widoczne są również pozostałości po wydobyciu kamienia budowlanego i barytu. Od 1995 roku zalesiony szczyt Perzowej Góry objęty jest ochroną jako rezerwat przyrody, obejmujący obszar 33 hektarów.
