Construit à la demande du Baron Charles van Caloen et de son épouse Savina de Gourcy Serainchamps, le château est édifié de 1859 à 1862 dans le style néogothique flamand d'après les plans d'Edward Welby Pugin et de Jean-Baptiste de Béthune. A la fin de la Première Guerre mondiale, c'est dans ce château que l'armée belge a installé son quartier général et que s'est établi le siège du gouvernement de Loppem d'Albert Ier de Belgique.

Le château, établi dans un domaine de 100 hectares, est entouré d'un parc d'une vingtaine d'hectares aménagé à partir de 1851 par le paysagiste Jean Gindra, comportant des étangs, des grottes et un labyrinthe. Le château abrite en outre des collections d'œuvres d'art. Actuellement, il s'agit du seul château belge de ce style dont on ait conservé l'architecture et l'intérieur dans leur état d'origine.