En 1644 Felipe IV concedió a Lorenzo Fernández de Villavicencio el título de alcaide del Alcázar. Por aquel entonces el cargo estaba vacío de toda responsabilidad
militar, pero llevaba aparejada la tenencia del Alcázar, por lo que la
familia Villavicencio pasó a ocupar el
edificio. Comenzaron entonces una serie de reformas que transformaron de manera sustancial el recinto, la más importante fue la construcción de un gran
palacio que se apoyaba en una de las
torres de origen islámico. Es una obra de mediados del siglo XVIII y un magnifico exponente del barroco local. En el dintel de la
puerta principal puede verse el
escudo de
Castilla y León, porque al fin y al cabo el edificio nunca dejó de pertenecer a la corona. Por eso están en la cornisa los
castillos y los leones, como símbolo del poder Real.