En 1290, Alfonso II cedió al caballero Bernardo de Sarriá los
castillos de las
montañas, entre los que se encontraba el de
Polop. Este caballero, que tampoco tuvo descendencia legítima, legó sus posesiones al infante don Pedro de quien, por herencia, pasarían en 1355 a su hijo el infante don Alfonso de
Aragón y Foix, primer conde de Denia y por tanto barón de Polop. Juan de Aragón, conde de Denia y Duque de Gandía, hereda las posesiones y cede el
castillo de Polop a Ruy Díaz de Mendoza en agradecimiento por los servicios prestados. Según algunos autores, la baronía de Polop pasaría a la
familia Fajardo al casar Diego Fajardo con la hija de Ruy Díaz de Mendoza; otros, por el contrario, afirman que este, en 1457, cedió el señorío de Polop que formaba baronía con los lugares de
Benidorm,
La Nucía, Alfaz del Pi y Xirles, a su sobrino Diego Fajardo y Díaz de Mendoza. Por una u otra
vía, lo cierto es que la familia Fajardo ostentó el señorío hasta 1899, al morir la última baronesa de Polop.