Este castillo era la residencia de los condes del Pallars, Hug Roger III fue el último Conde del Pallars, le tocó defender su condado durante 19 años, para mantener la independencia, aún cuando los demás territorios de Cataluña ya habían firmado las capitulaciones; que los hacían súbditos del rey Fernando el Católico de Aragón. Forzado a ir a Francia para buscar ayuda, su esposa Caterina de Albert, mantuvo el baluarte durante otros tres años.