Actualmente sólo quedan restos de una de sus torres, y se adivinan restos de otras torres y parte de muralla trasera. Se conoce haber sido erigido este castillo a principios del siglo XV por la familia Velasco, sin duda para preservar sus posesiones por aquel territorio y para sostener la arrogancia de todo su señorío. En esta fortaleza nació el fundador de Buenos Aires, Don Juan de Garay, durante la Alcaidía del Castillo, tenida por su padre en nombre de Don Lope de Haro, que era señor de Orduña, Valmaseda y Villalba de Losa, y mayordomo del rey Don Fernando IV.

La cerca del castillo sigue el borde del es­carpado, presentando una línea muy irregular. Sólo ésta se conserva en parte, aunque con diversas reconstrucciones. Sus lienzos están fabricados de “losas”, reforzados a cada cierta distancia con cubos de sillarejo de los que quedan cinco. A principios del s. XVIII habían desaparecido ya los edificios del interior: “ (se fué) al castillo y fortaleza que en esta dicha villa tiene y le pertenece (al duque de Frías)… la qual dicha fortaleza se alla demolida y cer­cada de pared alta con diferentes árboles y un algibe para agua y al presente se alla cultivada…”

Durante la primera guerra carlista volvió a fortificarse Villalba. Se construyeron algunos edificios adosados a los muros y se reforzó el frente que da al pueblo “con un para­peto de mampostería de cuatro pies de espesor y 10 de re­lieve” en el que se colocaron algunas piezas de artillería. La cerca fue adaptada al uso de la fusilería.