Ce château a été construit sur une longue pente douce coupée par un profond ravin. Avec les châteaux de Gormaz, Osma, et San Esteban, il a été l’un des portails le long de la rivière Duero en  Castille pendant la période médiévale. Ce château est une combinaison de divers batiments.
La structure actuelle est une combinaison de bâtiments séparés. Le premier est basée sur une ancienne forteresse arabe, renforcée après la conquête chrétienne.La tour carrée principale appartient à cette première campagne, même si elle a des ajouts ultérieurs. Au XVIe siècle, un palais-forteresse carré fut construit autour de cette première construction, avec renflement et tours rondes sur les coins contenant des embrasures pour l'artillerie. 

Ferdinand I de Castille et Alfonso VI prirent Berlanga après qu'ils aient conquis Toledo. La région est probablement restée pratiquement inhabitée jusqu'à ce qu’elle fut repeuplée au XIIe siècle, peut-être pour empêcher une invasion d'Aragon. Durant la période de Don Alvaro de Luna, la région a été le théâtre de combats entre les belligérants des bandes de nobles. Le duc de Frias a reçu la forteresse de  Charles V au XVIe siècle, et en 1527 il l’a reconstruit suite aux dommages subis lors de la révolte des communeros. Il a embelli le château avec de splendides jardins et un intérieur luxueux. Les fils du roi français, François Ier, ont été pris en otage ici. 
L'état actuel du château n’est pas très bon, bien que les parois des deux enceintes soient conservées dans un état assez mutilé, tout comme les parties du mur qui entourait la ville.