Fue edificado por orden de Pedro de Cartagena en 1446. A pesar de su apariencia se trata de un palacio de recreo. Tiene tres torres circulares, balcones amatacanados, garitones en dos lados y almenado superior. Más tarde lo heredan los Franco Guzmán, los Mendoza y, ya en el siglo XIX los duque de Gor. En 1812, en plena Guerra de la Independencia es incendiado. Hoy en día el castillo es de titularidad privada y ya reformado en el 2005 abrió como Parador denominado Señorío de Olmillos.