Le château doit son nom à Jan van Vriesele, un noble de Kontich, qui acquit, vers 1300, un terrain de 24 hectares avec une maison ou ferme.

En 1457, Philippe, duc de Bourgogne, accorda à Matheeus van Steenbergen le droit de basse justice dans son château « de chevalier ».

En 1553, c’est Costen van Halmale bourgemestre d'Anvers, qui devint le nouveau propriétaire. Ce chevalier fut au service de Charles-Quint, qui vint chasser sur la terre de Vrieselhof. Hendrik van Halmale, chevalier et ancien bourgemestre d’Anvers, séjourna également en ces lieux. Sa pierre tombale, fort endommagée, est encore visible dans l’église de Oelegem.

Sous Charles d’Oultremont , le château servit de refuge aux Augustins dont le cloître fut fermé en 1797.
En 1818,il fut loué comme caserne de gendarmerie.

Après la première guerre mondiale

A partir de 1910, le comte Louis de Broeckhoven de Bergeyck acquit, en plus de ce bien, d’autres terres, ainsi que le Bleekhof qui jouxtait ces terres. Il décida de remplacer le vieux château, qui avait été brûlé en 1914 par les troupes belges ; il s’en suivit une reconstruction à peu près à l’identique : c’est le château tel qu’on peut le voir aujourd’hui.

A sa mort, le Vrieselhof devint la propriété indivise de sa veuve et de ses enfants ; il fut vendu, en 1974, à la Province d’Anvers.

Le Musée provincial du textile connût ses heures de gloire en ces lieux. 

Depuis, c’est la Bibliothèque centrale provinciale qui y est abritée.

​