Por Real cédula expedida por Felipe IV la tenencia del Alcázar pasa por juro de heredad a Don Lorenzo Fernández de Villavicencio, uno de los linajes más poderosos e influyentes de Jerez y que emprende una serie de importantes reformas en el alcázar, entre las que cabe destacar la construcción del molino de aceite y el Palacio de Villavicencio, palacio barroco construido para residencia de esta familia sobre las ruinas del primitivo palacio islámico.