En su origen fue un castro y, más tarde, una ciudadela romana. A principios del siglo XII, los templarios toman posesión de la fortaleza reforzándola y ampliándola para servir como palacio habitable y como protección, al paso de los peregrinos que se dirigían a Santiago de Compostela.