Fue erigido por orden de Felipe II, quien le encomendó el proyecto al arquitecto Juan Bautista Toledo, murió durante su construcción, por lo que su discípulo
Juan de Herrera fue el encargado de rematar la obra. Durante todo el siglo XVII se paró la obra, hasta que en tiempos de Fernando Vi se acomete una
importante ampliación, que continuará Carlos III dotándolo de una alas que encierran el patio de armas, tal y como se puede contemplar hoy en día.

(Mayo de 2018)