Le château d'Assay est entouré de douves c’est une forteresse qui entra au XVe siècle dans la famille Stutt d’origine Écossaise. En effet Charles VII , n’ayant pas toujours les moyens de financer ses guerres, offrait des terres aux Écossais dans le cadre de l’Auld Alliance ou Vieille Alliance, en échange de leur soutien militaire effectif. Les troupes écossaises sont arrivées par trois grandes vagues entre 1421 et 1424 en passant par La Rochelle. Les Écossais avec à leur tête Hugues Kennedy participeront notamment à la Orléans 7 et 8 mai 1429 avec le Comte de Dunois et Jeanne d’Arc. La famille écossaise qui reçut la seigneurie d’Assay sont les Stutt, ils en sont encore propriétaires avec notamment le château de Tracy qui est entré dans la famille par alliance au milieu du XVIe.

Actuellement le château ne se visite pas, y compris pendant les journées du patrimoine même si parfois il est indiqué un panneau de visite dans le village. On retrouve d’ailleurs sa position sur les plans touristiques fournis dans les alentours. De plus il est difficilement visible de l’extérieur, un panneau occultant, le même utilisé pour les travaux, cache la vue. Le gardien d’à côté n’a pas possibilité normalement d’ouvrir. Le dernier évènement majeur ouvert au public fut en 1989 pour le Bicentenaire de la Révolution Française, où fut proposé des animations. Depuis seules de rares réunions d’entreprises, EDF par exemple, ont pu être réalisées. Le château, ou appelée aussi Forteresse d’Assay, est cependant toujours entretenu et n’est pas abandonné même si il semble volontaire d’en cacher la visibilité extérieure. Un autre château se trouvait à Beaulieu-sur-Loire, dont il ne reste presque plus rien aujourd'hui. Néanmoins le village de Beaulieu reste assez sympathique à visiter.

Situé à Beaulieu-sur-Loire dans le Val de Loire, il fut construit sur une période s’étalant du XIe jusqu’au XIVe siècle. Il en garde d'ailleurs des caractéristiques de l'époque du XIe comme le fort de Challeau.