V rámci opevňovania mesta proti Turkom postavili v rokoch 1564 - 1571 na vrchole kopca v blízkosti cesty na Vindšachtu mohutnú hranolovitú stavbu. Pevnosť bola neskôr prestavovaná, takže dnes má štyri poschodia s nárožnými baštami a strieľňami. Budova mala brániť mesto pred prípadným vpádom Turkov od Levíc a Pukanca. Bola súčasťou signalizačného systému, ktorý podával správy o pohybe nepriateľa od Pukanca po Ľubietovú. Je nazývaný i Panenským zámkom, v súvislosti s pomenovaním kopca, na ktorom je postavený („Frauenberg"). Okolo zámku bolo až do roku 1848 rozmiestnených 21 diel. Až do 18. storočia sa tu uschovával pušný prach pre banskoštiavnické baníctvo. Zvláštnosťou Nového zámku boli tzv. „živé hodiny", ktoré spočívali v tom, že sa obyvateľstvu oznamoval čas - trúbením štvrťhodiny, bitím na zvon celé hodiny.