Il a été construit à la fin du règne de Philippe Auguste et est le parfait exemple des chateaux forts qui succedèrent au forteresses du Moyen age. Il ne reste plus au chateau que l'imposante poterne qui défendait l'entrée principale, les murs et les tours d'enceinte. Cependant, la situation de ce chateau au sommet d'un piton rocheux, et l'importance de ces vestiges confèrent à l'ensemble une majesté impressionnante. Il domine la ville basse construite autour des superbes sources de la Druyes.
Construit dans la deuxième moitié du XIIème siècle par les Comtes de Nevers , le Château-Fort de Druyes a été rendu illustre par :
Pierre II de Courtenay
Sa fille la comtesse Mahaut.
Druyes était alors à l’apogée de sa grandeur.
A partir du XIVème siècle, Druyes entra dans la décadence. Le Nivernais donc le château passa successivement par le jeu des alliances, aux mains des Comtes de Flandre, des Ducs de Bourgogne, de la famille de Clèves et de la Maison de Mantoue.
En 1735, un duc de Nevers revendit Druyes à Louis de Damas, marquis d’Anlezy.
Avec cette vente, la vie du Château cessait.
A partir de 1958, Robert Némo et des amis lancent le défrichage et la restauration du Château Fort. En 1981 est créée l’association des Amis du Château de Druyes.
Le propriétaire actuel a acquis le château fort en 2004.