Prízemný barokový kaštieľ v Jelenci postavil biskup Pavol IV. Forgách v roku 1722. Forgáchovci v ňom žili a zdržiavali sa až do konca druhej svetovej vojny. V roku 1911 zomrel v kaštieli gróf Karol III. Forgách, ktorý sa stal slávnym vďaka introdukcii muflóna v Európe.
V októbri 2009 sa v zrekonštruovanej časti kaštieľa, v štyroch miestnostiach, sprístupnila stála expozícia Múzea rodu Forgách. Tento významný šľachtický rod vystupuje v slovenských dejinách viac ako osem storočí. Bohaté dejiny rodu sú spojené s mnohými miestami na Slovensku. Vojaci, diplomati, generáli či cirkevní hodnostári, to je široká škála životných príbehov členov rodu, ktorých portréty tu nájdete. Vidno tu archeologické nálezy z hradu Gýmeš- ich najstaršieho rodového sídla. V prvej miestnosti je inštalovaná národopisná (etnografická) expozícia, ktorá predstavuje tzv. prednú izbu.
