Las obras de este
castillo de la
casa de Alba comienzan en el siglo XV de la mano de D. Gutierre Álvarez de
Toledo. Sin embargo, será el Gran Duque de Alba quien termine por convertirlo en
palacio. El castillo-palacio tenía cuatro
torres que se llamaban
Torre del Rey, Torre del Arzobispo, Torre Guarropa y Torre del
Homenaje. Tras la Guerra de la Independencia tan sólo se conserva la Torre del Homenaje o de la Armería.