Este castillo fue construido como palacio señorial, con formas exteriores de pequeña fortaleza, formado por una planta rectangular con torres circulares en las esquinas que están perfectamente conservadas y que mantienen matacanes circulares coronando los cubos y unos giratones. En sus muros labrados en piedra, se pueden distinguir blasones con el motivo decorativo de la flor de lis de los Cartagena.

Del recinto exterior del castillo, que no se ha conservado, sólo se pueden observar algunos restos al pie de las torres meridionales. Todo este conjunto está dividido en dos mitades por un muro que separa el patio de armas de otra zona más señorial en la que puede apreciarse cómo disponía de semisótano, primera y segunda planta.

Las piedras que componen dicho castillo son de sillarejo, de una mejor calidad en los cubos. Sin embargo, puede apreciarse que para conseguir mayor solidez predominan en la base grandes bloques también en sillarejo. En la parte posterior se remata con regular mampostería.

A finales de la primera mitad del siglo XV, Pedro de Cartagena compra este señorío a Diego Gómez de Sandoval, que lo tenía como donación del rey don Juan II. Pedro de Cartagena pertenecía a una familia judía de origen aragonés, los Leví, que tras su conversión al cristianismo reemplazaron su originario apellido en honor a la virgen, Santa María, por el de Cartagena.

Hacia 1440 Pedro de Cartagena inició los trámites de la creación del mayorazgo de los Cartagena, y fue sin duda alguna el verdadero creador del linaje. El mayorazgo de los Cartagena estaría formado por bienes tanto propios como los adquiridos por Pedro de Cartagena. Este mayorazgo estaba constituido por: una casa-palacio colindante con la calle de Cantarranas, en Burgos; el lugar de Olmillos con sus vasallos, derechos, propiedades, señoríos y casa-fuerte; un señorío en Villusto, el pueblo de San Pedro y San Martín de Humada; el lugar de Asturianos de Can de Muñó, cerca de Presencio, la torre y casa de Cayuela, con sus dependencias; las propiedades que posee en Cayuela, Pinilla, Quintanilla de Muño, Arroyo, Mazuela de Muñó y Belbimbre y rentas y juros de heredad asentados en las tercias y alcabalas de diversas localidades.

Pedro de Cartagena contrajo matrimonio en dos ocasiones, y falleció en Burgos en 1478, reinando Isabel I de Castilla. Su hijo Alonso de Cartagena no heredó el mayorazgo, ya que falleció muy joven. Fue reemplazado por su nieto, también llamado Alonso. Los vecinos de esta población tuvieron numerosos problemas con este personaje, puesto que fue el modelo de señor feudal e intolerante que tomaba préstamos forzosos, aumentaba los impuestos y les sometía a servicios humillantes.

La Edad Moderna fue un periodo de prosperidad tanto para la fortaleza como para la localidad. En 1540, se empezó a construir la parroquia de la Asunción de Nuestra Señora y la fortaleza se dio por concluida con la edificación de la torre rectangular, destinada a caballeriza o almacén.

El linaje de los Cartagena acaba con la unión de Ángela Rodríguez Mausiño y Manuel Franco de Guzmán, y con este matrimonio comienza el linaje de los Valoria, que eran naturales de Valladolid.

El linaje de los Valoria perdura hasta principios del siglo XIX, cuando la vizcondesa de Valoria, Jacoba Giráldez, se casó con Mauricio Álvarez de Bohorques, II duque de Gor. Con este matrimonio desaparece la casa de los Valoria como titular del castillo y señorío de Olmillos y pasa a ser la casa ducal de los Gor.

Esta etapa coincide con la Guerra de la Independencia. Es un periodo nefasto tanto para la pequeña fortaleza como para toda la Península Ibérica. Tras la toma de la ciudad de Burgos por los ejércitos franceses, la ocupación de las localidades más importantes de la provincia fue inmediata.

Una de las localidades en la que se asentó el ejército francés fue Sasamón, ocupación que trajo mumerosas desgracias y sufrimientos, como la imposición de cargas y tributos, apropiación de cosechas y forrajes, demanda de servicios y represión de la disidencia con resultado de encarcelamientos y muertes.

En 1811, se suprimieron los señoríos por decreto de las Cortes de Cádiz, y los duques de Gor se desentendieron de la fortaleza para ocuparse de sus propiedades rústicas. En 1812 fue abandonado por completo tras un incendio provocado por el guerrillero Santos Padilla, que arrasó con todos muebles, enseres y parte de la estructura del castillo. Ese mismo guerrillero fue el autor de convertir a cenizas gran parte de la Iglesia de Santa María la Real.

Tras la muerte del VI duque de Gor, su viuda Beatriz de Silva y Mitjans traspasa la titularidad de la casa ducal a su hijo Mauricio Álvarez de Bohorques y Silva, VII duque de Gor. Hacia 1815, la hermana de Mauricio Álvarez de Bohorques, Rosario, vizcondesa de Valoria, enajenó prácticamente todo su patrimonio de Olmillos, que continuó explotando en arrendamiento.

Todas estas propiedades fueron adquiridas por la familia Arteche. La titularidad del castillo y propiedades en la localidad fueron adjudicadas a Elisa Arteche Villabaso. A partir de estos años, el castillo vuelve a cobrar toda su belleza a consecuencia de su rehabilitación.

La familia San José hacia 1989 compró este edificio y lo salvó del deterioro y de su futura desaparición. Decidieron restaurarlo y destinarlo a la celebración de eventos, como bodas, exposiciones, reuniones, congresos o servir de alojamiento a turistas que estaban de paso por la zona. El proceso de rehabilitación fue ejecutado por fases: en la primera fase se restauró la estructura, la fachada oeste de forma parcial, los techos, las escaleras, algunas ventanas;

En esta primera restauración solo se utilizó hormigón armado y se cubrió con una piedra blanca que para nada tenía que ver con la utilizada originalmente en el castillo. Para restaurar las almenas de sus 4 torres más altas se utilizó la misma piedra blanca.

En 2003, la pequeña fortaleza fue adquirida por Jusef Nasser Eddin y continuó las obras de rehabilitación y adaptación del castillo para uso hostelero. Después de dos años de restauración y con un proyecto que rondaba los tres millones de euros, se terminó la segunda fase.

En esta ocasión se utilizó piedra de la zona, con morteros a base de cal y cemento, y se tiñó y oscureció el color de las piedras blancas utilizadas en la primera fase, pues por su aspecto desentonaban con el aspecto general del castillo.

Se rehabilitó el suelo, las caballerizas, la muralla y cubos exteriores y puerta principal con sus correspondientes canes, la capilla, se picó y rejuntó toda la junta de las piedras de la fachadas, se rehicieron varios arcos y bóvedas, se rehabilitó el cerco y los entornos exteriores, etc, etc, etc, y finalmente se inauguró en la primavera de 2005.