Junto al lavadero nos encontramos restos de lo que fue el antiguo recinto amurallado medieval de la villa construido en el siglo XIII que protegió a esta cuando los terrenos ocupados eran mayores que los actuales. La carretera procedente de Lerma tro­pieza con los muros de la huerta monacal. Daba acceso al pueblo al Arco de la Villa, hoy desaparecido. También recibió el nombre de Puerta de Barbascones (o de Barrio de Gascones, corno dicen los documentos). Según dibujo de I. Gil tenía arco gótico, buenos sillares y un escudo so­bre la clave. Sería, pues, la única original que quedaba por aquellos años. A pesar de los esfuerzos de la Comisión de Monumentos fue derribada hace ya mucho tiempo.
Seguía la muralla hacia el noreste por terrenos que actualmente se consideran las afueras. Su dirección está indicada por algunos edificios campesinos a los que sirve de base. Quedan algunos restos más. A medio camino se abrió una puerta llamada de San Pelayo (por una iglesia que allí hubo de este nombre) y que según Férotin fue destruida en 1896. Permanecen en pie varios lienzos de interés –algunos de más de dos metros de grosor- y varias puertas, reformadas en siglos posteriores. Cerca del camino que va hacia Contreras se levanta el arco de la Calderera, arco de medio punto exterior y rebajado en el interior, construido con buen sillarejo, en contraste con el tosco canto utilizado en la muralla. Cerca de la iglesia abacial se encuentra el arco de San Juan, también conocido como Puerta Mayor de la Fuente, que controlaba el paso del antiguo puente gótico sobre el río Mataviejas. Sus di­mensiones son considerables. El sillarejo es de gran ta­maño y los sillares del vano perfectamente trabajados. En lo alto se abren dos filas de saeteras entre las que destaca el escudo de los Velasco, quienes debieron le­vantarla en el siglo XVI. Interiormente está peor conser­vada. Su grosor se reduce a casi la mitad desde la pri­mera fila de saeteras. No tiene almenas.
Durante un pequeño tramo la muralla corría junto al río que le sirvió de foso. Pronto aparece de nuevo la cerca monasterial que arranca de un fortísimo cubo de si­llería. Se mantiene en perfectas condiciones hasta el an­tes citado Arco de la Villa, a partir del cual se introduce en el casco del pueblo enlazando con el monasterio. Conserva por todos los lados las almenas.
Hubo también otro arco llamado de la Cruz que de­bió de abrirse en la calle de este mismo nombre. La muralla fue extraordinariamente gruesa, pues a juz­gar por los restos actuales alcanzó 2,30 metros de espesor.
Alguna vez se ha escrito que fueron levantadas por el abad Fernando Ibáñez frente a ciertos abusos nobiliarios, pero la cronología no parece confirmarlo. Aparecen do­cumentadas ya en 1292, fecha cercana, muy posiblemen­te, a su construcción, pues unos quince años después el rey concedía al vecindario diversos privilegios “en aten­ción a los daños que recibió en la guerra y por haber cer­cado la villa a su costa”.