La familia Cárdenas fundó allí el Convento de carmelitas de San Ignacio Mártir en 1596, y allí permanecen inhumados. Iñigo de Cárdenas fue fundador también del monasterio de las Comendadoras de Santiago y Alférez mayor de MAdrid. Su hijo fue embajador de España en Venecia y Francia. En este monasterio se educaría la hija de Felipe IV, la Infanta María Teresa, cuyo nombre hace referencia a la Santa Carmelitana por intercesión de las monjas de Loeches. Al morir los Cárdenas, el Conde-duque de Olivares compró el señorío en 1633. Pretendió hacerse con el patronazgo del monasterio de carmelitas pero no lo consiguió. Por ello éncargó a Alonso de Carbonell (arquitecto del Buen Retiro), la obra de un nuevo monasterio frente al anterior muy similar al Real de la Encarnación de Madrid, y un modesto palacio del cual ya solo se conserva su puerta. En 1643 el Conde-duque de Olivares cesó como primer ministro de Felipe IV y fue desterrado a Loeches, proyectando convertir sus montes en un gran coto de caza, pero la oposición de los agricultores se lo impidieron. En 1645, el Conde-duque dejó Loeches al ser desterrado a Toro (Zamora) pues sus enemigos querían alejarlo aun más de la corte. Ese verano murió y fue llevado nuevamente al monasterio de Loeches donde permanece enterrado hoy día.