La silueta del castillo de Frías se yergue en el horizonte sobre una inverosímil atalaya rocosa desde la que domina la localidad y casi todo el Valle de Tobalina en una estampa medieval digna de postal.

En Frías, la orografía circundante no permite una defensa tan fácil como en las montañas del norte, de ahí que sus gentes aprovecharan un peñasco
para construir su castillo. Parece ser que en este lugar, tan privilegiado para otear el entorno, siempre existió algún tipo de defensa, aunque no hay documentos o vestigios arqueológicos que lo confirmen. La finalidad primera fue controlar tanto el paso norte, por el Portillo de Busto, como el paso sur, por el Ebro.

Los restos más antiguos que se conservan son de finales del siglo XII y comienzos del XIII. Pero la mayor parte de lo conservado corresponde al siglo XV. Además de la original torre del homenaje, en las ruinas del castillo se pueden contemplar unos ventanales decorados con capiteles de estilo románico. Lo que hoy denominamos castillo es tan solo una parte de un sistema defensivo que incluía toda la parte alta de la ciudad, incluida la iglesia parroquial de San Vicente. El resto del cerro apenas conserva restos de estas defensas.

Para acceder al castillo hay que cruzar el puente levadizo de madera y atravesar el portal de una torre. La entrada, de arco ojival, está situada en un lugar donde apenas cabrían los atacantes. Está flanqueada por varias saeteras. Este era el único punto débil, por eso, además del doble muro, se excavó un foso en la roca que, en caso de peligro, se llenaba de agua. La entrada propiamente dicha consiste en una torre cuadrada, que se abre en el centro de un grueso y largo muro, cuyos extremos están reforzados por dos cubos. Se trata de un sistema de acceso en zigzag, heredado de los musulmanes, que facilita la defensa. En el centro de esta torre hay un arco rebajado con dos ranuras para el rastrillo de hierro que cerraba el paso en caso de asalto.

El recinto interior se aproxima a un cuadrado, parte del cual estaba cubierto. En el centro había un pozo con dos aljibes, y en el ángulo oeste, otra torre. En torno al patio de armas se situaban las dependencias militares y una crujía de servicios con granero y bodega, de los que hoy no quedan restos. En el lado opuesto hay algunos testimonios de lo que fueron las dependencias señoriales. Estas estancias estaban iluminadas por ventanas ojivales, cuyos capiteles tardo-románicos son lo poco que se conserva de la primitiva fortaleza. El artista que realizó estos capiteles fue educado en la escuela de Silos y esculpió en ellos diferentes temas de la época: guerreros a caballo, arpías, aves fantásticas, etc.