Un château féodal existait à Durbuy au IXe siècle, mais il fut détruit un siècle plus tard et reconstruit au XIe. Le comté de Durbuy fut rattaché à La Roche, puis cédé à Gérard de Luxembourg (voir blason) au XIIIe siècle. Durbuy perdit son titre comtal, mais resta néanmoins une importante seigneurie. Le château fut incendié en 1236 à titre de représailles, la garnison ayant participé à la Guerre de la Vache. En 1331, Jean de Luxembourg (voir blason) accorda à Durbuy une charte ainsi que l'autorisation d'édifier une enceinte de défense. La ville fut prise en 1480 par le prince d'Orange, ce qui entraîna la destruction de son château. Durbuy devint espagnole en 1609. En 1628, Philippe IV d'Espagne transmit la ville à Antoine Schetz de Grobbendonk, qui fit restaurer le château et encouragea les récollets à s'installer dans la cité. Ceux-ci y construisirent en 1632 une église que l'on peut encore visiter aujourd'hui. Durbuy subit de nombreux bombardements et autres ravages notamment au XVIIe siècle, lors de la guerre de succession d'Espagne.

Du XVe siècle au XVIIIe siècle, Durbuy suit le sort du duché de Luxembourg : bourguignonne, espagnole, française, autrichienne, hollandaise, la terre de Durbuy et le château sont mis en gagère par les maîtres successifs du duché de Luxembourg. La famille d’Ursel (voir blason) entre en possession du château au début du XVIIIe siècle et lui donne sa forme actuelle lors d'une reconstruction en 1731 et d'une importante restauration effectuée en 1880-1882 par la comtesse d’Ursel.