El Castillo de San Andrés, se encuentra situado junto al núcleo urbano de San Andrés, entre la confluencia de los barrancos del Cercado y de Las Huertas y la orilla del mar. Esta ubicación ha provocado que haya sido víctima directa del desbordamiento del barranco en ocasión de grandes lluvias torrenciales. En sus 300 años de historia ha sido arruinado y reconstruido al menos cuatro veces.