En el 1664, el
edificio del
palacio islámico pasa a ser propiedad de D. Bartolomé de Villavicencio, una de las
familias nobles y poderosas de la ciudad. Los Villavicencio, lo reforman y construyen un palacio barroco en el siglo XVIII, sobre las
ruinas del primitivo palacio islámico. Según las excavaciones arqueológicas realizadas bajo el palacio se descubrió una gran alberca, de más de 12 m de longitud y 3,70 de ancho, en torno a la cual se encontraban las estancias del palacio islámico.