1562, la famille Chabot-Charny le récupère en paiement pour dettes.

Vendu en 1634 aux Princes des Condé, il fut restauré par ces derniers.

1655,  d'Henri de Lorraine, comte d'Harcourt

1678, de Charles de Lorraine, vicomte de Marsan, en devient propriétaire.

1747, mai, le château sert de prison pour des soldats hollandais; probablement dans le cachot au sous-sol.

1764, le Prince de Brionne achète le château, il était déjà le seigneur d'Arnay le Duc depuis 1752. Il propose alors à la municipalité de l'utiliser comme Hôtel de Ville à condition de l'entretenir, il le restera jusqu'à la Révolution Française.

Il est vendu alors à Mr Bourouet, qui fut un amateur et collectionneur, qui pilla l'ensemble du château en enlevant les sculptures et les meubles.

Le château est inscrit au titre des Monuments Historiques,  le 26 mai 1926.

Entre 1865 et 1954, il est utilisé comme usine à Limes ( PMT ; Proutat-Michot-Thomeret ). Elle fut l'une des rares entreprises en Europe à fabriquer toutes les variétés de limes; elle exporta sa production dans le monde entier et obtenu de nombreuses médailles aux expositions universelles.

De 1958 à 1967, la commune rénove le château, et détruit les bâtiments inutiles.

En 1967, il abrite le CPE (centre professionnel éducatif) Pierre-Meunier en internat.