Avallon n'a pas joué un grand rôle dans l'histoire de France. Néanmoins elle fut un ancien castrum romain ( du nom d'Aballo), qui fait place à un oppidum gaulois des Éduens, sur la route d'Agrippà, qui reliait Lyon à Boulogne-sur-Mer. Il semble que la ville dépendait de la province d’Autun.  À cette époque la ville comporte un temple, un tribunal et un théâtre.

la ville eut des comtes au IXe siècle et une charte communale en 1200; elle fut enlevée avec l'Avallonnais (Quarré-les-Tombes, Vézelay, Ghastellux) au duc de Bourgogne, par Charles VII (1433). Elle se rallia aux Ligueurs et ne céda à Henri IV qu'en 1594. L'Avallonnais, qui s'étendait de l'Armançon a lionne, a formé un des treize bailliages bourguignons. 

Sébastien Le Prestre de Vauban par Bartholdi. Celle-ci fut fondue par Barbedienne en 1872 et le monument inauguré, conjointement avec un tronçon du chemin de fer, le 26 octobre 1873. La statue, en bronze, fut placée à l'extrémité de la place d'armes, devenue promenade des terreaux en 1723. Trois illustres maréchaux sont nés dans les environs d'Avallon : Vauban, né à Saint-Léger; Claude de Chastellux, né au Château du même nom, et Davout, duc d'Auerstacdt,prince d'Eckmûhl, né a Annoux. Ce qui explique la présence de la statue de Vauban à Avallon.

La tour de l'Horloge, d'une hauteur de 49m, la tour de l'horloge se dresse au point culminant de la ville, à 103m au dessus de la vallée du Cousin. Elle fut édifiée au XVe siècle, en 1456, par Jehan Berg, maître maçon, elle se situe à l'entrée sud de l'antique "Aballo", puis du Château des comtes d'Avallon. Dès 1460 elle abrita les quatre "échevins" élus par les habitants pour administrer les affaires de la ville jusqu'en 1772, date à laquelle fut construit l'hôtel de ville. La fenêtre éclairant la salle de réunion des échevins est ornée d'un blason : "Esto Nobis Domie Turris Fortiduninis" qui se traduit par "seigneur, soyez pour nous une tour de force et de courage".