Si los primeros cincuenta años del siglo XVI supusieron para el
puerto de la villa un momento de esplendor, caracterizados por el paso de marinos y descubridores que alcanzaron fama en América, a partir de la segunda mitad del siglo,
San Sebastián fue reiteradamente atacada, saqueada e incendiada por las incursiones de Jean Capdeville, en 1571; Pieter van der Does, en 1599; y Tabac Arráez, en 1618. Tan alto fue su valor estratégico que en julio de 1743, el almirante inglés Charles Windham fue enviado con una pequeña flota para apoderarse de la Isla, pero salió derrotado en su empeño. La gesta la conmemora un espléndido mural pintado 1760 y que se conserva en la
Iglesia de la Asunción. En la defensa tuvo un papel destacado la
Torre del Conde, aunque resultó seriamente dañada.