Los restos del castillomedieval de Cantavieja, al norte de la población, son escasos, ya que sufrió importantes daños durante las Guerras Carlistas. No obstante, aún se conservan extensos lienzos del recinto exterior formado por las murallas de mampostería. En el extremo se alzan los restos de un torreón circular del siglo xix sobre la base de uno medieval de planta rectangular. Este torreón fue usado como ermita hasta hace pocos años bajo la advocación del Calvario. En el interior del muro que mira a la población están los catorce peirones que forman las estaciones del Vía Crucis