Durante el reinado de Carlos I se convirtió en base de las galeras de
España, hecho que hizo que se concentrara una gran población de galeotes en la ciudad. Felipe II ordenó fortificar la ciudad que estaba desguarnecida al duque Vespasiano I Gonzaga, el cual realizó unas obras de muy deficiente factura y aprovechó para llevarse numerosas
esculturas romanas que aparecieron durante las obras. También se construyeron numerosas
torres vigía, como la de La Azohía, por toda la costa para avisar del peligro de ataque de los piratas berberiscos.