El Castillo corona el cerro de la Muela logrando una posición estratégica privilegiada sobre el valle y el paso del Ebro. Es uno de los castillos roqueros más espectaculares de Castilla.
La primera mención de la fortaleza de Frías data del año 867. La fábrica que actualmente se observa es de finales del siglo XII, principios del XIII, fechas en torno al reinado de Alfonso VIII. Tiene un marcado carácter defensivo. El conjunto de la torre del homenaje está separado del resto de la edificación manteniendo su propio sistema de defensa.
Se accede a su interior por medio de un puente (en origen levadizo) sobre un foso excavado en la roca y una antepuerta que da acceso a la puerta principal protegida por una reja de acero ya desaparecida. La defensa se basa en una estratégica ubicación de una roca bajo la torre del homenaje. Todo el perímetro del castillo tiene altos muros, con numerosas saeteras, rematado por un cuerpo almenado.
En torno al amplio patio de armas quedan restos de sus antiguas dependencias como graneros, bodegas o estancias de servicios.
Desde la parte superior de la torre del homenaje y desde los tres ventanales de sus muros, rematados por capiteles románicos, la vista de la ciudad es excelente.
La torre del homenaje de este castillo ha tenido tres caídas documentadas a lo largo de la historia. La última de ellas, acaecida en 1830 y con 30 víctimas mortales, tuvo que ver con la voladura de una de las puertas de las murallas de la ciudad por parte del ejército de Napoleón durante la guerra de la independencia.

Al borde de las Muela

Las casas, de toba y madera, han aprovechado el reducido espacio que le brinda “La Muela”, gran roca sobre la que se asienta la parte alta de la Ciudad, de tal manera que están construidas en los mismos extremos de la roca, pareciendo que forman parte del precipicio.

Es el ejemplo de un urbanismo y una arquitectura que se adapta al escaso terreno con el que cuenta la parte alta de Frías, lo que obliga a desarrollar la casa tanto hacia arriba como hacia abajo, excavando en la roca de toba, superando el número habitual de dos plantas
Si se accede por el lado sur a la ciudad tendremos unas magnificas vistas de estas casas colgadas.