Le premier château féodal de Vorselaar a été érigé à la fin du 13ème siècle. La forteresse était entourée de marais afin de la rendre difficile d’accès pour les attaquants.
Le premier seigneur connu de Vorselaar était Arnold Van Rotselaar.
Le château est resté dans la même famille jusqu'au début du 16ème siècle.
Isabella van Rotselaar était la dernière van Rotselaar. Elle s'est mariée avec Michel de Croy, seigneur de Chièvres et après la mort de ce dernier elle se  remarie avec Thomas Schotelmans en 1520. A sa mort, elle a légué le domaine à son neveu de Cornelis de Bergen. Il est mort en 1560 et le château revint à son frère Jean de Ligne. Le château a changé plusieurs fois de propriétaires au cour des siècles suivants.
Les de Borrekens, qui ont ensuite donné leur nom au château, sont devenus propriétaires par mariage en 1898. Leurs descendants occupent toujours les lieux.
Le château a été transformé au cour des périodes et changé d'une forteresse carrée en un beau château de comte de fée. C'est le compte Filips van de Werve qui a donné au château entre 1850 et 1860 son regard néo--gothique actuel. Le château ne peut pas être visité, mais le parc est ouvert et l’on peut se promener autour de ce bâtiment impressionnant. Il se trouve dans le village de Vorselaar.