En los años 1481 y 1482, los musulmanes intentan recuperar Olvera en varias ocasiones. En 1485 tras la conquista de Ronda, los Reyes Católicos adelantan la frontera y suspenden el pago que realizaban a los mantenedores de las ciudades fronterizas, perdiendo Olvera importancia estratégica. En los inicios del siglo xvi se levantó a 2 km de Olvera, en el lugar llamado "los pinos", una pequeña ermita en cuyo altar se colocó de la imagen de la Virgen de los Remedios.