Desde entonces fue adquirida por diferentes
familias nobles, entre las cuales podríamos destacar las de Sarriá (1290-1335), Corona de
Aragón (1335-1445), Bou (1445-1560), Moncada (1560-1767) y el Conde de Orgaz (1767). En la actualidad, el título nobiliario del
pueblo pertenece a la
familia Crespí de Valldaura. La ciudad conserva en su
casco antiguo parte de su estructura urbana
medieval, delimitada por la línea de
murallas de la Callosa intramuros, que se puede cruzar todavía hoy por una de sus
puertas originales: el Portal. A lo largo de esta línea se tiene la imagen más tradicional de Callosa con los restos de las murallas (s. XIV) y del
Castillo (± 1395 - s. XVIII), declarados Bien de Interés Cultural desde el año 2005.