Felipe II lleva a cabo las obras del Patio de Armas y las pendientes cubiertas de pizarra. Fue Prisión del Estado en los siglos XVII y XVIII.