Fue forzado a regresar a Brioude, y allí empezó un nuevo proyecto, para lo cual fue a Roma, para consultar con el Papa. Benedicto IX le animó a retirarse junto con dos compañeros al
valle boscoso del sureste de Auvergne. Allí construyó una
ermita, bajo el nombre de Chaise-Die (
Casa de Dios).