Probablement édifié à partir du XIIe ou début XIIIe siècle, le donjon est en réalité une ancienne tour porche, utilisé comme donjon ou tour maîtresse, modifiée au XIVe siècle.

Cette vaste propriété est située sur un plateau que recouvrait jadis de grands bois. A l’emplacement approximatif du château actuel existait très anciennement "l'hôtel fort", vieille forteresse féodale qui pourrait avoir été édifiée entre le XIIe et le XIVe siècle et dont les seuls vestiges conservés sont le donjon carré à quatre étages que flanque, encore plus élevée, une élégante tourelle d'escalier, et la tour ronde de l'autre côté de la route percée au XIX siècle. Les caves, ou plutôt son cellier, sont actuellement en dessous du château construit au XVIIIe siècle.

Il reste du donjon médiéval une cloche datée de 1574 fondue pour « Jehan Maria de Labucier » qui fait probablement référence à Jean de la Bussière, époux de Gasparde de Chaussecourte.

Si on se base sur ces deux tours et en se référant à l'emplacement des restes de murs, on ne peut qu'être étonné par l'étendue considérable que devait couvrir le château féodal. Il n’a pas été possible de trouver trace de l'existence de fossés, il est peu probable qu’une forteresse de cette importance n’eut pas de fossé mais étrangement je n’ai pas vu de l’extérieur une quelconque trace d’un éventuel pont-levis sur la tour porche.

On aperçoit sur la tour ronde ce qu'il reste du départ du chemin de ronde qui aboutissait au grand donjon, à l'emplacement muré par des briques (visible à 5m du sol, coté route). L'escalier de bois à l'intérieur du donjon n'existait pas et on voit nettement à l'extérieur, des deux côtés, la voûte d'entrée du Château Fort.

Il s’agissait donc initialement d’une tour porche qui fut ensuite comblée au niveau des entrées. Il est probable que la tourelle d’escalier n’existait pas et qu’elle fut rajoutée plus tard, probablement au XIVe. On constate notamment une entrée au premier étage et une autre au seconde étage peut être rejoint par le chemin de ronde, le dernier étage devait se faire probablement par un escalier intérieur. On remarquera que sur l'entrée, côté route actuelle, une porte à bascule devait fermer l'accès au donjon.

Le premier étage servait d’habitation : on y remarque encore une cheminée monumentale du XIVe siècle, des baies avec coussiège sur les façades est et ouest, des latrines et un plafond à solives apparentes. Au vu du confort, c’est donc probablement soit la salle du capitaine de la place ou du seigneur. Le logis seigneurial fut probablement détruit pour être remplacé par le château style XVIIIe.

En 1633, Richelieu fit démolir la "citadelle" du château, comme beaucoup d'autres en France afin de soumettre la noblesse hostile à la politique de Louis XIII, mais selon les éditions Atlas dans sa fiche référence sur le château de Douzon, il s’agirait en réalité d’un incendie qui aurait détruit une grande partie de l’édifice ; Il est possible qu’il y ait une cumulation des deux événements qui explique le peu de trace du mur d’enceinte et des fossés, ainsi que des autres tours. Il parait en effet difficile d’expliquer qu’un incendie, aussi important soit-il, puisse expliquer la destruction massive du mur d’enceinte et des systèmes de défense du château.