Entre 1733 y 1735 se construyó un
castillo o fuerte nuevo llamado
San José (de ahí más tarde al nombre de la población). Costó unos 150.000 reales de vellón y fue dotado con piezas artilleras distribuidas en sus tres baterías. En la guerra de la independencia fue desartillado y arruinado, posteriormente fue ocupado por las funciones policiales de vigilancia del litoral, a finales de 1960 se construyó sobre sus baterías una
casa cuartel de la Guardia Civil que actualmente se encuentra. Desaparecidos los acuertalamientos, aún perduran la mayor parte de las baterías en que situaba su artillería.
Fue un pequeño pueblecito de pescadores y agricultores, en un entorno encantador. Muy tranquilo y sencillo, de ambiente distendido. Lo hicieron
parque Natural y se convirtió en un lugar de veraneo como todos.