En las proximidades del pueblo de Tartales de Cilla, a media ladera de la montaña que domina el valle, en la cara occidental de la Sierra de la Tesla, se localiza la cueva de San Pedro.
Se trata de una iglesia rupestre posiblemente de la época visigoda entre los siglos VII y VIII.
El templo excavado en roca arenisca, tiene el acceso al mismo situado al sur, estando muy deteriorado por derrumbe, no quedando resto de la puerta principal. Es de planta rectangular, de pequeñas dimensiones, con bóveda de medio cañón ligeramente apuntada, orientado este-oeste.
Al este la cabecera, un ábside con planta en forma de herradura y ligeramente elevada sobre el resto de la nave, en el suelo se puede apreciar donde se encontraba el altar. Actualmente tiene el techo hundido.
En el extremo opuesto, pies del templo, se encuentra el contrabsise, también de planta en forma de herradura y elevado respecto al suelo de la nave.
Algunos autores consideran que la Iglesia tiene formas típicas del arte visigodo, con los ábsides contrapuestos y la forma de herradura de los mismos.
Al lado del eremitorio de San Pedro se encuentra una pequeña necrópolis con dos tumbas de adultos, alto-medievales, excavadas en la roca en forma de bañera orientadas de este a oeste.
Posiblemente en esta cueva-iglesia habitó San Fermín y que sus reliquias fueron conservadas en primer lugar en estas sepulturas y luego en la de la ermita de su advocación en el pueblo.