L'unique enfant du compte de Montcorps, Emma, épouse le comte de Savigny, qui ajoute par la suite Montcorps à son propre titre. Deux générations de la famille de Savigny ont bénéficié de la succession, mais l'héritage était compliqué et, dans les années 1950, la propriété est passée à un filleul d'Armaillé de la comtesse, qui est mort, apparemment dans un accident de voiture à New York, avant même d'avoir emménagé dans la maison. Un aperçu de la vie des Savigny de Montcorps au XIXe siècle peut être lu dans la biographie La Reine des Fleurs d'Alain de Savigny, qui parle d'une relation qui visitait Fertot au plus fort de sa gloire dans les années 1880, lorsqu'elle développait une grande parfumerie dans le sud.

Le château a été abandonné au début des années 1960 et la plupart des choses qui y ont été laissées ont été volées. Cependant, plusieurs photographies et documents, en témoignage de la propriété précédente, ont été trouvés sur le domaine.