En 1119, Isidro volvió de nuevo a Madrid, y entró a trabajar como jornalero agricultor al servicio de un tal Juan de Vargas. Estableció su morada junto a la Iglesia de San Andrés, donde oía la misa del alba todas las mañanas y, luego, atravesaba el puente de Segovia -las tierras de su patrón estaban del otro lado del Manzanares- para aprestarse al duro trabajo de roturar la tierra con el arado. Se dice de él que daba cuanto tenía a los menesterosos, y aún a las palomas hambrientas...