Situado sobre un promontorio, que proporciona una privilegiada panorámica de la zona, se encuentran las ruinas del castillo de Belorado. Lo único que se puede saber es que constó de un elemento cuadrado en el centro, posiblemente la torre del homenaje, y de una cerca irregular. Se aprecia con claridad el foso que rodeó la fortaleza.

Por su importancia estuvo en manos de la Corona, los Lara, Haro, etc., hasta que en el año 1429 el rey Juan II lo donó a los Velasco.

Su fábrica es de yeso y glauberita. Se documenta una torre cuadrada y semiderruida en el centro (torre del homenaje) y una cerca acabada en forma puntiaguda que rodea la torre por el Noroeste y que está sujetada en la base por un muro de ladrillo, realizado para impedir su ruina total.

La torre está parte semiexcabada en la roca, mediante la construcción de una zanja que sirve como foso, es resto está construido con muros de espesor de hasta 3,5 m mediante el sistema de doble parámetro de mampostería trabada con argamasa, rellenando el centro con ripio.

Su génesis parece remontarse a la Alta Edad Media tras la toma de Ibrillos por los árabes, durante el reinado de Alfonso III (866-910). Constituyó una importante plaza fuerte en el sistema defensivo que se estableció en la comarca para vigilar el paso entre los reinos de Navarra y Castilla.

Una vez acabadas las luchas entre los reinos cristianos y las guerras civiles en Castilla, sobrevino un periodo de paz que hacía innecesaria la constante atención al castillo.

Debido a ello su deterioro fue progresivo; así consta que en 1650, la fortaleza estaba en ruinas, permaneciendo en pie sólo la torre principal. Ya en 1683 el Duque de Frías, ante la ruina de la fortaleza, determina la demolición de ciertos sectores, con objeto de evitar que las lluvias pudieran provocar desprendimientos.

Parece ser que durante el reinado de Fernando I parte de éstas tierras de Belorado fueron dadas, en concepto de señorío, al Cid con motivo de su casamiento con Jimena.

Muy cerca del mismo se encontraba el barrio judío, que tenía la obligación de reparar la muralla y mantener en buenas condiciones la torre del homenaje. Desde el castillo son visibles los pueblos de Cerezo de Riotirón y Villafranca Montes de Oca.