La construcción del monasterio data del siglo XV primero como un cenobio y posteriormente se amplió con el actual convento, la iglesia y dos claustros uno gótico del XV y otro posterior del XVI. En el año 1556 el emperador Carlos I de España, después de abdicar a favor de su hijo Felipe II, eligió retirarse a este monasterio por lo cual mandó construir una casa-palacio adosada a la iglesia con la particularidad de que desde su habitación pudiera asistir a los oficios religiosos que se realizaran en la iglesia. Su retiro en el monasterio fue breve pues murió en el 1558 y allí fue enterrado para posteriormente, por expreso deseo de su hijo, trasladar sus restos al panteón real del Monasterio del Escorial. En el año 2004 el monasterio fue integrado en el Patrimonio Nacional. Los arcos que se ven en la parte superior-izquierda de la fotografía soportan una rampa construida para que el Emperador pudiera acceder a su casa montado en el caballo.