Actualmente sólo quedan restos de una de sus
torres, y se adivinan restos de otras torres y parte de
muralla trasera. Se conoce haber sido erigido este
castillo a principios del siglo XV por la
familia Velasco, sin duda para preservar sus posesiones por aquel territorio y para sostener la arrogancia de todo su señorío. En esta fortaleza nació el fundador de Buenos Aires, Don Juan de Garay, durante la Alcaidía del Castillo, tenida por su padre en nombre de Don Lope de Haro, que era señor de Orduña, Valmaseda y
Villalba de Losa, y mayordomo del rey Don Fernando IV.
La cerca del castillo sigue el borde del escarpado, presentando una línea muy irregular. Sólo ésta se conserva en parte, aunque con diversas reconstrucciones. Sus lienzos están fabricados de “losas”, reforzados a cada cierta distancia con cubos de sillarejo de los que quedan cinco. A principios del s. XVIII habían desaparecido ya los
edificios del interior: “ (se fué) al castillo y fortaleza que en esta dicha villa tiene y le pertenece (al duque de Frías)… la qual dicha fortaleza se alla demolida y cercada de pared alta con diferentes
árboles y un algibe para
agua y al presente se alla cultivada…”
Durante la primera guerra carlista volvió a fortificarse Villalba. Se construyeron algunos edificios adosados a los muros y se reforzó el frente que da al
pueblo “con un parapeto de mampostería de cuatro pies de espesor y 10 de relieve” en el que se colocaron algunas piezas de artillería. La cerca fue adaptada al uso de la fusilería.