L'existence du château de Wolff de Moorsel est intimement liée aux seigneurs de Trivières. Leur présence est attestée depuis le XVe siècle - Jehan de Namur fut le premier, en 1437. Si le château n'est recensé qu'aux alentours du XVIIIe siècle, on le relie volontiers avec la chapelle Notre-Dame aux Puits, construite pour accueillir la sépulture du seigneur Antoine, en 1509.

Après les de Namur (XVe), vinrent les de La Hamaide (XVIIe), de la Barre, les ducs et comte de Looz-Corswarem, les van Broechem (XVIIIe) et enfin les de Wolff de Moorsel (XIXe et XXe). Avant 1865, le château est constitué d'une bâtisse carrée, il sera ensuite agrémenté d'une construction en fer à cheval, comme à Seneffe ou à Mariemont. Puis, viendront s'ajouter deux tours et un pavillon rustique.
Le 2 juillet 1908, le baron Louis-Edouard-Emmanuel-Ghislain de Wolff de Moorsel, vend la propriété et ses dépendances à la société civile des charbonnages de Bois-du-Luc et Trivières réunis. Le 30 mars 1914, le château sera cédé à la commune de Trivières pour 25.000 francs et les services de l'administration communale y sont transférés.
Selon le livre d'or de la commune de Trivières, le domaine était l'un des plus beaux du pays. Les annexes ont été démolies pendant la première guerre. En 1940 subsistaient encore un pavillon de chasse et des serres. Mais le château est victime d'un incendie le 6 décembre 1949. Les registres de l'Etat-Civil sont sauvés, mais le château est détruit. La reconstruction a lieu en 1953. Elle coûtera trois millions de francs. On y accueillera encore les services de l'ONE et la bibliothèque communale.