Staviteľom kaštieľa je Ján Pálffy (1857 – 1934), ktorý pochádzal z červenokamenskej línie staršej vetvy rodu. Kaštieľ bol postavený v rokoch 1888 až 1889. Kaštieľ je súborom viacerých slohov a období. Istá povedačka hovorí, že je tomu tak preto, lebo gróf sa vo Francúzku zamiloval do francúzskej kontesy, ktorú chcel požiadať o ruku. Zaumienil si však, že najprv musí svoje sídla (napr. aj Smolenický zámok) upraviť tak aby jej pripomínali francúzske zámky. Dotyčná dáma sa vraj vydala skôr, ako sa mu to podarilo dokončiť. Táto povedačka je absolútne neopodstatne prevzatá z výkladu sprievodcov z Bojnického zámku, kde sa týka Jána Pálffyho (1829 – 1908), posledného mužského potomka mladšej vetvy rodu, ide o prameňmi nepodloženú “rozprávku”, ktorú asi vymyslel nejaký romanticky založený sprievodca, ktorý si pomýlil dvoch úplne odlišných Jánov, pričom Smolenický zámok neprestavoval ani jeden z nich.
Autorom projektu kaštieľa bol viedenský architekt Franz von Neumann. Okolo Budmerického kaštieľa je pekný anglický park s množstvo starých a obrovských stromov.