En 1614, Rutsky fue elegido metropolitano de Kiev y Josafat le sucedió en el cargo de abad de Vilna. Cuando el nuevo metropolitano fue a tomar posesión de su catedral, Juan le acompañó en el viaje y aprovechó la ocasión para visitar el famoso monasterio de las Cuevas de Kiev. Pero la comunidad de dicho monasterio, que se componía de más de 200 monjes, estaba relajada y el reformador católico estuvo a punto de ser arrojado al río Dnieper. Aunque sus esfuerzos por hacer volver a la unidad a la comunidad fracasaron, su ejemplo y sus exhortaciones consiguieron hacer cambiar un tanto la actitud de los monjes.