Julia falleció muy poco tiempo después. Tenía 53 años. Acerca de las causas de su muerte hay dos teorías: la primera es que el vengativo Tiberio la hizo morir de hambre, y la segunda que la propia Julia se dejó morir al recibir la noticia de que su hijo Agripa Póstumo había sido asesinado. Cuando Tiberio se convirtió en emperador, las condiciones de Julia empeoraron: suprimió su pensión y ordenó que permaneciera confinada en una habitación, privada de toda compañía humana. La mala reputación de Julia no impidió que fuera popular entre el pueblo de Roma, que la consideraban una mujer de buen corazón, alejada de todo ánimo de venganza o rencor. Su duro destierro no resultaba una decisión popular, y comenzaba a causar algún revuelo, por lo que al cabo de cinco años Augusto suavizó las condiciones. Julia pudo abandonar la isla y establecerse en Calabria, en el sur de Italia, en una residencia mucho más lujosa, aunque nunca obtuvo el perdón de Augusto. Él dejó instrucciones... Cuando saltó la noticia del adulterio, Augusto, que había tomado a sus nietos bajo su protección, desterró a su hija a la minúscula isla de Pandataria. Allí permanecería bajo las más duras condiciones y con la única compañía de su madre, que solicita y obtiene permiso para compartir el destino de su hija. Se trataba de un islote sin vegetación, azotado por los vientos y con tan solo una villa fortificada carente de comodidades. No había ningún hombre en los alrededores, excepto los soldados que debían... Varios de los amantes de Julia fueron desterrados, y Julo Antonio fue obligado a suicidarse. A ello podría haberse sumado un problema de fondo más grave que el estrictamente moral: se cree que había un complot para apartar a Tiberio y sustituirlo por Julo Antonio.