Le château de Gruuthuse était déjà mentionné au Moyen Âge et a un passé mouvementé. Le château porte le nom de son résident le plus renommé. Au XVe siècle, ce domaine était la propriété de Louis de Gruuthuse, conseiller et diplomate des ducs de Bourgogne. La porte d'entrée restaurée est un vestige de cette forteresse et est clairement visible depuis la Stationsstraat. Gruuthuse est indissociable de la famille d'Ursel depuis le XVIIe siècle.

Le bâtiment actuel de style néo-flamand date de 1890 et a été conçu par le maître d'œuvre René Buyck, qui a également dessiné les plans de la mairie d'Oostkamp. Le comte Charles d'Ursel fit construire le château actuel et réaménager le parc, selon les plans du paysagiste Duchesne.