Le château est rebâti à partir de 1520 par un banquier italien, Bernard Salviati.

Le poème de Pierre de Ronsard Mignonne, allons voir si la rose est inspiré de l'idylle entre Ronsard et Cassandre, fille de Salviati.

Durant les guerres de religion, le poète Théodore Agrippa d'Aubigné, protestant, y trouve refuge et tombe amoureux de Diane Salviati, petite-fille de Bernard Salviati. Celle-ci le repousse cependant. Agrippa d'Aubigné fait référence à ce château dans quelques-uns des vers de ses Tragiques.

En 1638, Isabelle Salviati fait prolonger l'aile est. L'intérieur est fortement rénové par la famille Burgeat au cours du xviiie siècle.

Le domaine est acheté par Élisabeth Gastebois et traverse sans trop d'encombres la Révolution française.

Il passe entre les mains de la famille Stapfer, alliée aux Burgeat, des protestants suisses de Berne. Le château fut la propriété de Philipp Albert Stapfer, ministre de la République helvétique, réformateur de l'Éducation suisse. Les Stapfer transformèrent une salle du rez-de-chaussée en salle de culte. L'inscription « Culte protestant évangélique » sculpté dans le bois et surplombant la cheminée est encore en place.

En 1892 mourait au château Albert Stapfer (né en 1802), connu pour avoir traduit en français le Faust de Goethe (1828)2, dans une édition illustrée par Delacroix; Stendhal lui offrit un exemplaire de sa Chartreuse de Parme (1839), qui fut vendu en 1931 avec la bibliothèque du château, et passa dans celle de Sacha Guitry (n°222 du catalogue de la vente du 23/03/1976 - arch. pers.). Le château abrite toujours certaines collections des Stapfer, dont l'uniforme de ministre helvétique de Philipp Albert Stapfer, et les portraits de plusieurs membres de la famille dont certains pasteurs du xviiie siècle.

Le général Chanzy y établit son quartier général en décembre 1870, mais en fut chassé par les Prussiens.

Le château a fait l’objet d’un classement au titre des monuments historiques le 4 août 19083. Le château est vendu à l'État en 1933. Il sert à plusieurs reprises de dépôt d'archives[réf. souhaitée].

La garenne et son allée d'accès, propriétés de la commune, font l’objet d’une inscription au titre des monuments historiques depuis 2004. Les parties bâties et non bâties restantes propriété de l’État (les grilles, le bois, les murs et l’allée plantée devant le château) font l’objet d’un classement au titre des monuments historiques depuis le 29 mars 20053.

Son jardin est réorganisé en 1996 par les paysagistes de l'Atelier de Paysages Bruel-Delmar associés à J. Weill, pour devenir un conservatoire d'essences fruitières. Il est labellisé « Jardin remarquable »4.

Le domaine comprend un verger, une grange avec un pressoir à vin (datant de 1808) et un colombier.

Le colombier, tour circulaire, abrite près de 1 400 boulins, ce qui en fait l'un des plus importants de la région. Il est muni d'une échelle sur pivot permettant d'accéder à l'ensemble des cavités pour y recueillir les œufs.

Le verger a été réhabilité depuis 1996 par la paysagiste Joëlle Weill associée à l'Atelier de Paysages Bruel-Delmar.