El palacio Ducal de Lerma comenzó su edificación en 1601 por encargo del Duque de Lerma al arquitecto Francisco de Mora. Por lo tanto es una obra del siglo XVII.

Característico de la época de los Austrias, el Duque de Lerma aprovechó el emplazamiento del antiguo castillo medieval y realizado según las trazas de Francisco de Mora, fue construido en sucesivas fases, concebido como morada de los Duques, a la vez que regio aposento para la corte de Felipe III, con motivo de los retiros cinegéticos en la villa. Unos años más tarde, en 1616, Juan Gómez de Mora mejoró el proyecto de Francisco de Mora, uniendo los dos. Edificios y regularizándolos en lo que a su imagen externa se refiere. De esta manera, surgió una nueva construcción articulada en torno a un patio y con las esquinas presididas por torres rematadas con picudos chapiteles, que recuerdan al Escorial.

En la actualidad se conservan todos los planos y documentos relacionados con la ejecución de la obra.

La disposición es característica de los palacios castellanos: un patio central rodeado de galerías columnadas, alternando dos cuerpos: el primero, de 20 columnas de orden toscano con arcos de medio punto y el segundo de 20 columnas de orden jónico; siendo las columnas de una sola pieza. Arranca también desde este patio una suntuosa y amplia escalera claustral.

La fachada principal está fabricada con recios sillares, su portada se acompaña de pedestal, columna y capitel a cada lado, en que se basa un frontispicio semicircular, con labores de arquitrabe. Toda la fachada queda rematada por una fuerte cornisa de piedra y por encima se elevan las cubiertas de pizarra, con sus buhardillas.

Sobre aquellas cornisas y en las cuatro esquinas arrancan los cuatro torreones rematados por chapiteles también cubiertos de pizarra, con gran bola, veleta y cruz.

Todo el Palacio estaba compuesto por 210 balcones de hierro y 135 ventanas entre buhardas y rejas.

El palacio tiene cuatro torres en los ángulos con los chapiteles también recuperados después de las obras de rehabilitación. Ningún palacio podía tener más de dos torres, salvo el de los reyes, pero al duque de Lerma se le concedió este privilegio, tal era su gran poder en la Corte.

El palacio preside una imponente plaza regular, la actual Plaza Mayor de Lerma. A ella se refirió Lope de Vega para alabar su grandeza y simetría. En este lugar se celebraron importantes fiestas cortesanas en las dos primeras décadas del siglo XVII.

Desde la muerte del Duque hasta finales del siglo XX, este magnífico conjunto fue perdiendo todo su esplendor pasado. Sólo en algunos momentos concretos logró recuperar parte de su antigua grandeza, como sucedió en 1722 cuando se celebró entre sus muros la boda del futuro rey Luis I con Luisa Isabel de Orleans.

El Palacio fue utilizado como cuartel general durante la invasión napoleónica, perdiendo sus cuatro chapiteles. Ha sido rehabilitado como Parador de Turismo, recobrando el encanto perdido en los siglos pasados.

Durante la guerra civil española se utilizo como cárcel.

La amenaza de su derrumbe y desaparición condujo al gobierno a emprender su rehabilitación y transformación reciente en Parador Nacional, dirigido por el organismo nacional Turespaña, una de las cadenas hosteleras más prestigiosas del mundo. La restauración y acondicionamiento del palacio finalizó en 2003, con una intervención respetuosa que ha logrado integrar los restos del castillo medieval y el palacio ducal, con el fin de rememorar la época más esplendorosa de la villa. Asimismo, gracias a la actuación arqueológica previa a las obras de restauración se descubrieron algunos detalles sobre la primitiva fortaleza medieval.

En la actualidad es uno de los Parador Nacional de Turismo de mayor encanto y elegancia.