L'histoire ancienne n'est pas claire, mais en 1700, Fertot était un oratoire, entretenu par les propriétaires du Marais. Rasé au sol après 1790, la maison a été reconstruite dans un style différent sur les fondations d'origine au cours des années 1840 par le comte de Moncorps, qui a également chargé un paysagiste local mais très estimé, Paul de Lavenne, comte de Choulot, de retravailler l'aménagement paysager.

Paul de Lavenne, comte de Choulot, est né le 31 janvier 1794 à Nevers, mais a passé la majeure partie de sa jeunesse en exil à Londres. Il a introduit le concept de parc agricole en France dans les années 1840 et, au cours de sa carrière, a conçu environ 280 parcs en Europe, principalement en France. En 1858, il dessine la ville-jardin du Vésinet, à l'ouest de Paris. Vous trouverez de plus amples informations sur le comte de Choulot dans le livre Paul de Lavenne comte de Choulot Paysagiste (1794 – 1864) editions du CAUE de la Niévre.

Le château actuel a été reconstruit dans les années 1840 sur les fondations de la maison précédente, qui aurait été un oratoire ou un monastère. Certains des bâtiments de la ferme datent du XVIIe siècle.

L'art des Jardins, ou etudes theoriques pratiques sur l'arrangement exterieur des habitations ; est un essai publié en 1863 par le comte de Choulot qui mentionne la famille de Moncorps comme propriétaire du château de Fertot à l'époque.