Dominant l'éperon rocheux, l'église Saint-Lazare était desservie par un collège de chanoines dépendant de l'abbaye de Cluny.  Au XIe s, le duc Henri 1er leur fit don d'un fragment du crâne de saint Lazare, sensé éloigner la lèpre. La relique attira de nombreux pèlerins sur le chemin de Saint-Jacques-de-Compostelle. La collégiale actuelle, consacrée en 1106, présente deux portails d'entrée ornés d'un exceptionnel décor de motifs floraux, d'animaux et de formes géométriques. Chefs-d'œuvre de l'art roman, ils témoignent de l'extraordinaire inventivité des sculpteurs du XIIe s.

La collégiale Saint-Lazare était à l'origine une église dédiée à Notre-Dame Située à l'intérieur de l'enceinte du château d'Avallon, la chapelle primitive (Vème.) fut probablement construite sur l'emplacement d'un tombeau mérovingien.

- Devenue église, elle fut offerte aux moines de Cluny en 1078 par Hugues 1er, duc de Bourgogne.
- Début XIème., Henri le Grand (duc de Bourgogne) rapporta de Palestine le crâne de Saint Lazare, et en fit don à l'église.

En 1106, l'église agrandie fut consacrée par le pape Pascal II. Il restitua cet édifice à l'évêque d'Autun, au titre d'abbé d'Avallon. Désormais cette église prit le nom de « Notre-Dame et Saint-Lazare ».

Les pèlerins affluèrent auprès des reliques de Saint Lazare ayant pour propriété de guérir de la peste.

L'église actuelle fut agrandie et terminée vers 1160-1170.

La nef, longue de 52m et d'une déclivité de 3m, conduit au chœur, partie visible la plus ancienne de l'église.

Dans le chœur, fresques ainsi que deux chapiteaux gothiques.

Chapelle du Sacré Choeur

Bas-côté Sud

- Plusieurs statues (XIVe et XVIIIe s.) dont certaines proviennent de l'ancienne église Saint-Julien (détruite en 1792) ;

- une croix à double face (XVIème) ;

- la chapelle Saint-r5xdeph ;

- la chapelle du Sacré-Cœur (XVIIIe) (utilisée alors comme bibliothèque par les chanoines) avec peintures murales en trompe l'œil (XIXème s.).

Bas-Côté Nord, quelques statues, la chapelle de la Vierge et la chapelle funéraire des Jaucourt (XVème s.).

Un troisième portail complétait la façade. Il a disparu en 1633 lors de l'écroulement du clocher primitif, remplacé par la tour actuelle. 

Comme à Vézelay ou Autun, le relief du portail central figurait le Jugement dernier, rappelant aux fidèles la nécessité de se préoccuper du salut de leur âme.

L'actuel parvis était occupé par le cimetière, supprimé en 1724. Avec la collégiale, l'ensemble s'inscrivait dans l'enceinte du château d'Avallon. C'est Saint-Pierre qui était alors église paroissiale. Construite au XVe s. contre le flanc sud de Saint-Lazare, elle a perdu son clocher en même temps que la collégiale.

Aux alentours, deux demeures du XVe s. attirent particulièrement l'attention. 

L'une est remarquable par sa façade à pans de bois en encore à accolades. Elle accueille aujourd’hui l'office de tourisme. La maison des Sires de Domecy présente une élégante tourelle en poivrière et de gracieuses ferronneries du XVIe.

L'édifice est classé au titre des monuments historiques en 1840. Ce bâtiment faisait partie des institutions religieuses composées de chanoines. « On les appelait des Chapitres ou des Collégiales ».