Cerca de los restos de la fortaleza quedan también los restos de la ermita rupestre de San Martín, hoy en día abandonada y fuera de culto. Era una pequeña iglesia prerromana cavada en la roca.
Antes de convertirse en ermita se cree que fue la iglesia de Castilseco, y qué cuando los habitantes de Castilseco se trasladaron al valle y crearon el nuevo pueblo y la nueva iglesia, ésta se convirtió en ermita.