Le château de Seneffe, de style néoclassique, est construit de 1763 à 1768 pour l'homme d'affaires Julien Depestre d'après les plans de l'architecte Laurent-Benoît Dewez. Le somptueux château constitue le signe visible de sa réussite sociale. Deprestre suit de près la réalisation des travaux et demande à Dewez d'en modifier les plans lorsqu'il le juge opportun. En 1774, il décède et sa veuve Isabelle Cogels poursuit la réalisation du projet, modifiant certains éléments pour conformer l'édifice à ses propres goûts. Leur fils aîné Joseph Depestre partage l'intérêt de ses parents pour le domaine. Il confie l'aménagement du parc à l'architecte Charles De Wailly et au sculpteur Augustin Pajou. Il dote le parc d'une orangerie et d'un théâtre et fait orner les niches des galeries de la cour d'honneur de statues.

Il fait malheureusement de mauvaises affaires et se réfugie à l'étranger. En 1798, les Pays-Bas autrichiens ayant été réunis à la République française, le domaine est confisqué par le gouvernement qui le met en vente. Il est racheté par le frère cadet de Joseph, Jean-Baptiste Depestre de la Ferté. À sa mort en 1802, Joseph, qui tient beaucoup au château, conclut un accord avec sa belle-sœur et obtient le droit de résider à Seneffe, qu'il restaure. À sa mort en 1823, le château retourne au fils de Jean-Baptiste, Honoré Depestre de la Ferté. Ce dernier dilapide ses biens et doit mettre le château en vente en 1837.

Alexandre Daminet, un propriétaire de charbonnages, s'en porte acquéreur. Le château est alors dans un état de dégradation tel que certains plafonds sont tombés. Daminet entreprend une restauration en profondeur, installant le chauffage central et repeignant le château. Certains décors peints datant cette époque ont été conservés. Le château est ensuite repris par sa fille Valérie et son mari le comte de Pellan. La crise économique de 1873 consomme leur ruine et ils sont forcés de vendre le domaine, qui passe pendant quelques années dans les mains de la baronne Goffinet. Celle-ci le laisse se dégrader à nouveau. À sa mort, le château est en en état d'indivision. Vendu en 1909, il est racheté par un banquier israélite d'origine allemande, Franz Philippson. Cet homme au goût éclairé rend au château tout son lustre. Il fait réaménager en partie le parc par l'architecte paysagiste Jules Vacherot. Le château reste la demeure de la famille Philippson jusqu'en 1939.

Occupé pendant la Deuxième Guerre mondiale par le général von Falkenhausen, il est ensuite acheté par une communauté franciscaine, qui néglige son entretien. Il est acheté en 1963 par un marchand de biens qui le laisse également à l'abandon, malgré son classement du 24 décembre 1958. L'opinion publique s'en émeut et l'État belge l'acquiert en 1969, après une procédure d'expropriation. En 1980, il devient propriété du Ministère de la Communauté française de Belgique qui décide d'y héberger un musée de l'Orfèvrerie de la Communauté française dont le noyau est constitué par la collection de Claude et Juliette D'Allemagne, suite à une donation.