Le château fut alternativement occupé et délaissé par ses seigneurs et propriétaires.

Du 1er au 15ème siècle, les Berzée possédaient cette terre comme seigneurie principale et ils construisirent sans doute le donjon et les tours reliées par des courtines, entourées de douves actuellement asséchées mais toujours visibles, ainsi que d’autres bâtiments dont on ne retrouve plus trace aujourd’hui.

A partir du 15ème siècle, les Oultremont et les Berlo délaissèrent Berzée et par la suite le château fut abîmé par les guerres de l’Entre-Sambre-et-Meuse. Pendant près de 75 années, il resta à l’état de ruine et servit d’abris aux corbeaux et oiseaux de nuit.

Au début du 17ème siècle, Charles de Namur en fit sa principale résidence et entreprit d’importants travaux, fit réédifier l’antique manoir féodal. Quatre générations de Namur y vécurent. Le château neuf fut construit en long, du nord au sud : les façades est et ouest du château furent construites en briques et celle du nord et du sud en pierres. Le donjon et les tours furent restaurés.

Après vint la famille des Trazegnies qui ne modifia en rien l’état du château.Actuellement, le château-ferme de Trazegnies, un bel ensemble du 17ème siècle, est un monument classé par Arrêté royal du 4 octobre 1974.

Près du château, se trouvait une exploitation agricole. Les bâtiments de la ferme tels que nous les connaissons ont été édifiés en 2 étapes : les dépendances durant le premier tiers du 18ème siècle, ensuite le logis en 1742.