El cerro sobre el que se asienta el
monasterio, acogió ya en la
antigüedad un castro celtíbero. Fueron sin embargo los musulmanes quienes construyeron una fortificación con imponentes parapetos defensivos, algunos de los cuales se pueden observar aún hoy en día. Tras ser definitivamente conquistado por los cristianos, el rey Alfonso VIII cedió en 1174 el
castillo a la Orden de Santiago, convirtiéndose en su
casa matriz.