Se cree que mandado construir por el primer Gran Duque de Alba don García Álvarez de Toledo en la segunda mitad del siglo XV, aunque no se ha podido determinar el autor de tan singular traza y magnífica obra, de inequívoca influencia italiana. Por los únicos datos existentes hasta ahora, parece cierto que los artífices de la obra fueron Juan Carrera, De Troya, y Tomás Bretón.