Nueve años después lo hereda su hija Margarita. Después de eso, en 1304 debió de hacer frente a una cabalgada de moros granadinos que saquearon los
castillos de la zona con ayuda de muchos moriscos locales. El 15 de enero de 1388 el Rey Juan de
Aragón vendió
Agres y su
castillo al caballero Andrés Guillermo Scribé. En la segunda mitad del siglo XV pasó al poder del conde de
Cocentaina Joan Roig de Corella. Más tarde a la
familia Calatayud. En 1484 se levanta una
ermita para la imagen de la
Virgen milagrosamente encontrada en el Castillo. En 1578 se amplía el templo para edificar un
santuario empleando los materiales de la fortaleza.