De esa unión nacerían cinco hijos, el último de los cuales fue póstumo. Para entonces la conducta de Julia era abiertamente escandalosa. Se rumoreaba acerca de su larga relación con Sempronio Graco, y otro de sus amantes más famosos fue el poeta Ovidio; pero estos distaban de ser los únicos. De hecho era conocida por su desmedida inclinación hacia los hombres, y su promiscuidad no entendía de clases sociales; patricios o esclavos, todos parecían venirle bien, y se cuenta que una noche llegó a organizar una orgía en la plaza del mercado. Plinio el Viejo la llama “exemplum licentiae”.