En respuesta a esta situación serían erigidas décadas más tarde una serie de
torres de vigilancia costera a lo largo del territorio litorial, a fin de prevenir estas incursiones. Durante los siglos XVI y XVII, la ciudad prosigue una lenta recuperación demográfica, gracias por un lado al
comercio marítimo y por otro al interés de la Corona en potenciar su
puerto como base
militar. Sin embargo, el crecimiento poblacional se vio bruscamente alterado en varias ocasiones debido al brote de varias epidemias de peste bubónica que asolaron virulentamente la ciudad, siendo especialmente grave la de 1648, en la que murieron alrededor de 14 000 personas en tres meses.