La construcción del monasterio, junto a la de un palacio para el Conde-Duque formaba una plaza con el otro de las carmelitas del que hablábamos en la página principal. Hoy sólo se conserva del palacio la portada barroca de su fachada, en su lugar están las instalaciones del colegio público "Duque de Alba". Gregorio Marañón lo mencionó en su biografía sobre el Conde-Duque de Olivares; "...a pesar de haber sido restaurado por su actual propietario el duque de Alba a finales del siglo XIX, es un...