La mala reputación de Julia no impidió que fuera popular entre el pueblo de Roma, que la consideraban una mujer de buen corazón, alejada de todo ánimo de venganza o rencor. Su duro destierro no resultaba una decisión popular, y comenzaba a causar algún revuelo, por lo que al cabo de cinco años Augusto suavizó las condiciones. Julia pudo abandonar la isla y establecerse en Calabria, en el sur de Italia, en una residencia mucho más lujosa, aunque nunca obtuvo el perdón de Augusto. Él dejó instrucciones para que ni siquiera fuera enterrada en su mausoleo, hizo destruir sus retratos y eliminó los pasajes literarios que contenían menciones de Julia.