En 1446, por merced del monarca Juan II de Castilla se fijó la sucesión señorial de la Villa en los Álvarez de Toledo, duques de Alba, a quienes perteneció por donación real hasta el año 1830. El castillo de Granadilla fue mandado construir por García Álvarez de Toledo y Carrillo de Toledo, duque de Alba, entre 1473 y 1478.