Pendant la période médiévale la région était possédée par les moines de l'abbaye de Kelso

A l'ouest de Kelso  Floors Castle a été construit sur une terrasse naturelle surplombant la rivière Tweed juste en face des Cheviot Hills, qui sont au centre du domaine familial.

En 1721, William Adam fut choisi par le 1er Duc de Roxburghe John Ker pour étendre la partie est d'une tour habitable existante afin de créer une demeure de châtelain géorgienne, simple et symétrique.

Le sixième Duc invita le meilleur architecte d'Edimbourg, William Playfair à redessiner le château entre 1837 et 1847. Il s'inspira pour Floors du style de l'hôpital Heriot à Edimbourg, bâtiment pittoresque hautement décoré. Le résultat est un château romantique de contes de fées avec une toiture de tourelles, pinacles et coupoles.

C’est  le plus grand manoir habité en Ecosse

Intérieurs 
Les intérieurs sont un délice. Rempli d'une collection merveilleuse de peintures, y compris des œuvres de Raeburn et Gainsborough ainsi que des maîtres plus modernes comme Picasso et Matisse. En plus des peintures on y trouve une superbe collection de porcelaine fine. Lorsque l'héritière américaine Mae Goelot est devenue la 8e duchesse, elle a apporté sa collection de tapisseries de Gobelin inestimables du 17ème siècle à Floors. Duchesse May, comme on l'appelait, est responsable d'une grande partie de la décoration intérieure et des œuvres d'art que contient le château.