El primitivo
Monasterio del Desierto se encuentra en un llano entre barrancos, a unos 500 metros del actual. Su construcción tuvo lugar entre los años 1697 y 1733. El recinto tenía capacidad para albergar a veinticuatro religiosos en sus diferentes dependencias. Se hallaban entre ellas un peculiar
claustro, aljibes, una hospedería y un
palacio episcopal cuyos restos aún hoy se pueden apreciar.
En 1783 una serie de
lluvias torrenciales y movimientos de tierra perjudicaron seriamente la estructura del
edificio, tras lo cual, los Carmelitas Descalzos se vieron obligados a abandonarlo, buscando una ubicación más segura.