Lugar que perteneció a la
Casa Ducal de Alba y aunque este es una
palacio de época "reciente", seguramente vino a sustituir a otro palacio,
castillo o similar en los que nació la dinastía nobiliaria de los Álvarez de
Toledo, con el tiempo sus descendientes llegaron a ser los titulares del Ducado de Alba.