El palacio donde nació, ocupado después por monjas Agustinas, correspondía a la parte baja del pueblo, y por el lado del pradillo indican aún su primitiva entrada dos gruesas y cuadradas torres unidas por un corredor con celosías de piedra, cuyas habitaciones se llaman ahora las claustrillas. Allí moraron sucesivamente las dos esposas de Juan II, y en frente fundó María de Aragón hacia 1443 un famoso hospital que nada conserva de su fábrica antigua, pues el pórtico alto y bajo de la fachada muestra ser del renacimiento, sin otra cosa de notable que los reales escudos pegados a las columnas y al antepecho; la capilla octógona por fuera fue malamente renovada en 1721, la escalera se adornó a lo churrigueresco, y el patio representa la más pobre estructura del siglo XVI. A la sazón todavía las religiosas poblaban extramuros el convento que les había edificado en una ermita a mediados del XIV una piadosa viuda de Arévalo nombrada María Díaz; en él se dio sepultura en 1424 a la tierna infanta Catalina; en él profesaron por orden de Isabel la Católica hacia 1490 dos hijas naturales de su esposo, doña Maria y doña María Esperanza de Aragón. A instancias de la primera desprendióse el emperador de su palacio en 1525 a favor de la comunidad, y la casa que dejaron pasó a los frailes de la misma orden, adquiriendo nombradía por los muchos capítulos en ella celebrados. Durante el uno murió en 23 de agosto de 1591 el esclarecido fray Luis de León, y tres años después vino a descansar en aquel templo en sepulcro de mármol al lado de sus padres, el nonagenario cardenal don Gaspar de Quiroga; mas no han bastado estos recuerdos ilustres a preservar del hundimiento la suntuosa y moderna fábrica, en cuyos ángulos permanecen aún de pie las torres y en su centro los tres arcos que introducen a la portería.