Au Xes., l’abbaye de Saint-Amand reçoit de nombreux biens situés à Anvaing. Au XIIes., la présence des seigneurs d’Anvaing est attestée. Ils sont les avoués de l’abbaye. La seigneurie passe aux mains de la famille de la Hamaide dans le courant du XIIIes. Un premier château aurait été édifié sur le fief de Soubrechies, alors fief principal de la seigneurie d’Anvaing. Il sera abandonné dès le XVes. car, en 1502, un certain Jespart de Ville est dit, dans le dénombrement des fiefs d’église du Hainaut, seigneur de la ville d’Anvaing et demeure à son hôtel de Wangermées, donjon sur motte entouré d’eau dont on aurait retrouvé l’emplacement lors du curage, en 1976, de l’étang entourant la bâtisse actuelle.

La lignée des de Ville s’éteint avec Adrienne. Celle-ci avait épousé, vers 1513, Pierre de Boubais. Leur fils, Jacques de Boubais, fera construire un château dans les environs du vieux manoir. C’est le château que l’on connaît actuellement.

Maximilien de Tenremonde en héritera. Il avait épousé, en 1641, Antoinette-Isabelle de Croix. Leur fille, Marie-Catherine, hérite à son tour d’Anvaing. Elle était l’épouse, depuis 1680, de Jean de Mesgrigny, ingénieur militaire, élève et collaborateur de Vauban. Les époux décèdent tous deux sans postérité en 1720. La terre d’Anvaing passe alors aux mains du neveu de Madame de Mesgrigny, le baron de Rouveroit de Pamele et reste dans cette famille jusqu’en 1781. Cette année-là, l’héritière Marie-Amour-Désirée vend au comte Augustin de Lannoy .Cette vieille famille au service du roi de France et des ducs de Bourgogne, s'y installe. Ses descendants y vivent encore aujourd'hui dont la comtesse Stéphanie mariée le 20 octobre 2012 au grand-duc héritier Guillaume de Luxembourg.

Le château d'Anvaing est le lieu historique où fut signée la capitulation de l'armée belge le 28 mai 1940. Les plénipotentiaires belges arrivèrent au château à 9h35. À 9h40, le général Derousseaux, le commandant Liagre et le Général-Major Friedrich Paulus sont reçus par le général Walter von Reichenau entouré d'officiers supérieurs allemands. La conférence a lieu dans la salle à manger du château. À 10h00, la capitulation de l'armée belge est effective. Vingt minutes ont suffi à la lecture du protocole. Les signatures sont échangées. Le général von Reichenau informe le Führer. Un officier allemand tire un coup de feu en l'air pour fêter l'événement. L'impact de la balle est toujours visible dans le plafond de la salle à manger.

De part et d’autre de la grille, deux pavillons de style classique prolongés par des communs en briques et pierre bleue encadrent l’avant-cour. Leur construction s’échelonne du XVIes. au XIXes.

Les douves se sont développées en étangs d’agrément et sont alimentées par le ruisseau du Fécheu. Le terrain sur lequel le château est bâti est marécageux. D’où la nécessité de le construire sur des pilotis constitués de troncs de hêtres entiers. 
Le château est bâti en briques et pierre calcaire sur un soubassement biseauté. Il dessine un plan rectangulaire sur lequel viennent se greffer quatre tours cornières. Avant les transformations du XIXes., ces tours dépassaient d’un étage le reste du bâtiment. A cette époque, deux toits en bâtière parallèles couvraient toute la longueur du château