Los jardines tienen su origen en 1629, cuando Gaspar de Guzmán y Pimentel (1587-1645), conde-duque de Olivares y valido de Felipe IV (1605-1665), animó al monarca a ampliar el Cuarto Real existente junto al Monasterio de los Jerónimos y levantar alrededor del mismo una residencia palaciega.​ Con tal fin le hizo obsequio de unas tierras próximas, en su mayor parte cedidas por Alonso Estacio Gutiérrez de los Ríos y Ángulo, primer conde de Fernán Núñez, que, una vez completado el proceso de anexiones, ocuparon una superficie de unas 145 hectáreas.

(30 de Marzo de 2022)