El Castillo corona el cerro de la Muela logrando una posición estratégica privilegiada sobre el valle y el paso del Ebro. Es uno de los castillos roqueros más espectaculares de Castilla.
La primera mención de la fortaleza de Frías data del año 867. La fábrica que actualmente se observa es de finales del siglo XII, principios del XIII, fechas en torno al reinado de Alfonso VIII. Tiene un marcado carácter defensivo. El conjunto de la torre del homenaje está separado del resto de la edificación manteniendo su propio sistema de defensa.
Se accede a su interior por medio de un puente (en origen levadizo) sobre un foso excavado en la roca y una antepuerta que da acceso a la puerta principal protegida por una reja de acero ya desaparecida. La defensa se basa en una estratégica ubicación de una roca bajo la torre del homenaje. Todo el perímetro del castillo tiene altos muros, con numerosas saeteras, rematado por un cuerpo almenado.
En torno al amplio patio de armas quedan restos de sus antiguas dependencias como graneros, bodegas o estancias de servicios.
Desde la parte superior de la torre del homenaje y desde los tres ventanales de sus muros, rematados por capiteles románicos, la vista de la ciudad es excelente.
La torre del homenaje de este castillo ha tenido tres caídas documentadas a lo largo de la historia. La última de ellas, acaecida en 1830 y con 30 víctimas mortales, tuvo que ver con la voladura de una de las puertas de las murallas de la ciudad por parte del ejército de Napoleón durante la guerra de la independencia.