Il peut être considéré comme un des plus beaux châteaux renaissance de l’ouest de l’Hérault. Edifié vers 1525 sur des bases plus anciennes remontant au XIIIe siècle, il comprend un corps de logis flanqué de 3 tours fortifiées et couronnées de toitures en forme de poivrières. La façade principale donnant du côté des jardins est délimitée par 2 tours orientées au nord-est et nord-ouest. Le château est précédé côté village d’une cour bordée de 2 ailes, sur laquelle donne une troisième tour tenant titre de vis d’escalier.

Cette ancienne baronnie est rattachée directement au Royaume de France en 1221 et ne faisait donc jamais partie du Languedoc qui ne deviendra français que 50 ans plus tard.

Elle a gardé ce statut jusqu'à la Révolution française. En contre partie, le seigneur avait l'obligation de rendre hommage au roi à chaque nouvelle prise de règne. Le seigneur avait droit de justice.

Aux familles féodales Alquier, de L'Isle et d'Antignac, ont succédé à partir de la Renaissance, les Plantavit de la Pauze dans le négoce, puis à partir de 1719 les Le Moine dans la finance. Cette famille qui a pris le nom de Le Moine de Margon est toujours propriétaire du château.

Le jardin est de composition classique "à la française" avec un côté structuré des jardins italiens. Son caractère méditerranéen se retrouve avec ses cyprès taillés en colonne, ses haies et labyrinthes en lauriers, ses allées rectilignes bordées de lauriers roses.