De nombreuses légendes parlent du Château Bayard. On dit qu'il a été fondé par les Quatre Fils Aymon fuyant la colère de Charlemagne. La chapelle aurait été consacrée par le Pape (Adrien VI au moment où il quittait la Belgique pour Rome... ou Eugène III, 300 ans plus tôt ?) L'Empereur et la Reine sont venus y loger.
 
Jean, fils du comte de Namur, achète, le 28 mai 1390, la tour, le château et les terres de Dhuys et de Bayart. Devenu Jean III, comte de Namur, il les donne en 1420 à Philippe, son fils naturel, avant de vendre le comté de Namur au duc de Bourgogne, en 1421. Depuis lors, les descendants de Philippe de Namur sont restés propriétaires du château Bayard.
 
En réalité, la partie la plus ancienne du château date du XIIIe siècle: la tour-porche qui était séparée du reste des bâtiments jusqu'au début du XVIIe siècle. La chapelle et la maison du garde dateraient du XVIe siècle. La plus grande partie du château actuel date des XVIIe et XVIIIe siècles. C'est au début du XIXe siècle que le site acquiert son aspect actuel: l'aile qui fermait la cour à l'ouest est abattue, l'étang et les douves sont réunis pour former l'actuel plan d'eau, le parc est planté.
 
Le dernier Namur d'Elzée, vice-président du Sénat, et son épouse, Marie de Saint-Mauris, terminèrent la "modernisation" du château et des écuries. La dernière vicomtesse de Namur a été dame d'honneur de la reine Marie-Henriette, femme de Léopold II, ce qui explique la chambre de la Reine. A sa mort en 1914, le domaine passe à son neveu, le comte de Brouchoven de Bergeyck.
 
Depuis le 6 mai 1995, le Château Bayard accueille des séminaires, réunions, mariages et réceptions.