1661, le cardinal Mazarin dans ses derniers vœux veut employer une partie de sa fortune à la fondation d'un collège permettant à soixantaine de gentilshommes de quatre "nations" d'y venir pour s'y instruire. C'est le collège des Quatre-Nations que sont alors : l'Alsace, l'Artois, Pignerol et le Roussilon qui sont entrés dans l'escarcelle du royaume de France au traité de Westphalie en 1648 et au traité des Pyrénées en 1659.

Mazarin demanda également a y être inhumé comme l'avait fait Richelieu à la Sorbonne. L'ensemble de sa collection d'ouvrages précieux et livres rares est également légué au collège qui sont aujourd'hui disponible dans la bibliothèque Mazarine, avec la condition qu'elle soit ouverte deux fois par semaine aux gens de lettres.

C'est l'architecte Louis Le Vau qui à la demande de Jean-Baptiste Colbert fait édifier les plans. Le collège est alors sur un plan architectural avec une  façade en demi-lune sur la Seine et une coupole pour la chapelle qui est circulaire à l’extérieur et ovale à l’intérieur. Louis Le Vau est également l'architecte du Château de Vaux le Vicomte.

Le collège des Quatre-Nations est construit entre 1662 et 1688.

 Dès la fin de la construction les premières élèves y sont admis en octobre 1688, mais c'est seulement en  1691 que la bibliothèque Mazarine est ouverte.  Les décors de la bibliothèque sont imaginés par l’architecte Pierre Le Muet, elle est aujourd'hui la plus ancienne bibliothèque publique qui réunies des collections de manuscrits médiévaux et modernes, d’incunables, de livres rares, de reliures précieuses et d’œuvres d’art constituent un fonds particulièrement riche dans le domaine des sciences historiques.Antoine Coysevox y fait également le monument funéraire dédié à Mazarin alors qu'Antoine Vaudoyer aménage la chapelle en salle de séances, de manière à pouvoir y accueillir 1 200 personnes.

Pendant la révolution le collège des Quatre-Nations va successivement avoir des fonctions différentes. D'abord un collège de l'Unité, il va être ensuite être une maison d'arrêt, un siège de Comité de Salut Public, puis l'École Centrale Supérieure et une École des Beaux-Arts.

l'Abbé Grégoire avait supprimé les Académies Royales en 1793 et l'Institut de France est donc crée le 25 octobre 1795 à sa place.

Initialement installé au Louvre, Napoléon Bonaparte décide de transférer l'Institut de France juste en face du Louvre en 1805, dans l'actuel bâtiment.

Vers le milieu du XIXe siècle, Hyppolyte Le Bas est chargé de construire un nouveau corps de logis pour y intégrer les nouvelles Académies mises en place par Louis XVIII :   Académie française, Académie des inscriptions & belles-lettres, Académie des sciences, Académie des beaux-arts et Académie des sciences morales & politiques.

Le bâtiment est classé monument historique depuis 1862.