La proximidad de Fernando II, aliado de los Castro, al lugar donde los Lara custodian a Alfonso VIII hace que éstos le trasladen a Soria donde permanecerá hasta 1162 cuando los Lara, acosados por Fernando que ha conquistado las ciudades de Segovia y Toledo, deciden entregárselo a su tío, aunque lo impide la intervención de un hidalgo, quien sacó al pequeño del palacio real, poniéndolo bajo la custodia de las villas leales del norte de Castilla, primero en el castillo de San Esteban de Gormaz y después en Atienza y Ávila, ciudad ésta que desde entonces recibe el título honorífico de «Ávila del Rey» o «Ávila de los Leales» por la defensa que hizo del joven monarca. Así mismo, la estancia de Alfonso en Atienza dio origen al nacimiento de la popular celebración de La Caballada, que se celebra todos los años en esta villa el Domingo de Pentecostés.