Construido según trazas de Francisco de Mora sobre el antiguo castillo, en estilo herreriano, cobijó tanto al Duque de Lerma como a la familia de Felipe III en el siglo XVII. Hoy es Parador Nacional de Turismo.