En el 1664, el edificio del palacio islámico pasa a ser propiedad de D. Bartolomé de Villavicencio, una de las familias nobles y poderosas de la ciudad. Los Villavicencio, lo reforman y construyen un palacio barroco en el siglo XVIII, sobre las ruinas del primitivo palacio islámico. Según las excavaciones arqueológicas realizadas bajo el palacio se descubrió una gran alberca, de más de 12 m de longitud y 3,70 de ancho, en torno a la cual se encontraban las estancias del palacio islámico.