El castillo
El castillo fue construido a finales del siglo IX por al-Fath ben Musa ben Zennun y fue una importante e inexpugnable fortaleza musulmana.

En el año 1085, como consecuencia de la conquista de Toledo por Alfonso VI, pasó por primera vez a manos cristianas y cambió de manos varias veces hasta que en el año 1157 Alfonso VII lo cambió por Alicun con el rey Lobo de Murcia, posteriormente Alfonso VIII lo donó a la Orden de San Juan y finalmente a la de Santiago.

En el año 1528 fue destruido, parcialmente, para construir el actual monasterio. De la estructura primitiva de esta fortaleza quedan tres torres con un muro que las une y la muralla en zigzag o cremallera. Como elementos defensivos de la fortaleza destacan las torres del Pontido, la del Palomar y la Albarrana. Las dos primeras son de planta rectangular, pero de diferentes dimensiones. La primera se une con la del Palomar por medio de un puente por lo que denomina torre del Pontido. Ambas han sufrido varias restauraciones, la última en el año 2001.

Esta fortaleza ocupaba una extensión de un kilómetro cuadrado de superficie. De la antigua fortaleza musulmana actualmente sólo quedan las tres torres y las murallas.

Antigua fortaleza
De la antigua fortaleza de la Orden de Santiago quedan tres torres cuyos nombres vienen equivocados en la mayoría de los libros de castillos, pero que están claramente definidos en los Libros de Visitas de la Orden que se guardan en el Archivo Histórico Nacional. Las tres torres que actualmente apreciamos en dirección norte-sur, son las siguientes: la torre del Pontido, unida por un puentecillo a la torre del Palomar, a continuación un foso excavado en roca, que se vencía por medio de un puente levadizo y que conectaba con una muralla que conducía a la torre Albarrana. De las antiguas torres del Homenaje Viejo, del Homenaje, de la Plata y Blanca no conocemos su localización exacta, aunque sabemos que fueron derribadas para proseguir las obras de la actual iglesia.