l'Abbaye de Chaalis a été fondée par Louis VI, dit « le Gros », en 1136.

Saint-Louis, qui fait édifier l'Abbaye de Royaumont, vient régulièrement dans l'abbaye de Chaalis pour notamment partager la vie des moines.

Au  Moyen-Âge elle connait un rayonnement spirituel important jusqu'à la Renaissance où le Cardinal d'Este, qui notamment créa les jardins de  Tivoli en Italie près de Rome, y fait venir de nombreux artistes italiens.

Serlio un architecte d'Italie fait bâtir le mur qui abrite la roseraie tandis que le peintre Primatice, qui fut notamment mis en place en remplacement de Philibert Delorme un architecte français, peint une fresque dans la chapelle.

1737, Jean Aubert , qui fut en particulier le bâtisseur des écuries de Chantilly, est chargé de construire un palais abbatial, mais avec la Révolution Française, il ne put finir que l'aile Nord.

En 1902, la demeure appartient à Nélie Jacquemart-André, passionnée de peinture et fait rassembler une importante collection. Elle fait également planter une roseraie et aménage les jardins dont certains arbres ont aujourd'hui 300 ans.

Après avoir léguée l'ensemble à l'Institut de France en 1923, la collection vient s'enrichir des œuvres de Jean-Jacques Rousseau grâce au marquis de Girardin qui avait offert l'asile à Ermenonville.