De origen musulmán, el
castillo no aparece citado hasta el año 1118, cuando fue donado por Alfonso I de
Aragón a Lope Juan de Tarazona. No obstante, tras la muerte de este monarca, pasó de nuevo a manos musulmanas. Su reconquista definitiva tuvo lugar en 1174 por parte de Alfonso II, siendo devuelto a Lope Juan de Tarazona, quien a su vez lo cedería a Raimundo, prior de Ejea, y a la abadía francesa de la Gran Selva Mayor. De este hecho deriva el actual nombre de la villa,
Alcalá de la Selva. En 1375 el castillo fue vendido por los monjes a los Fernández de Heredia, señores de la baronía de
Mora de Rubielos, quienes lo utilizaron como residencia ocasional.