De ahí que a partir de entonces la ciudad pasara a denominarse en valenciano Callosa d'en Sarrià (literalmente en castellano es "Callosa de don Sarriá" pero posteriormente mal transcrito, como
Callosa de Ensarriá) y se convirtiera en el centro del señorío, que llegó a abarcar gran parte de la actual comarca de la Marina Baja. Desde entonces fue adquirida por diferentes
familias nobles, entre las cuales podríamos destacar las de Sarriá (1290-1335), Corona de
Aragón (1335-1445), Bou (1445-1560), Moncada (1560-1767) y el Conde de Orgaz (1767). En la actualidad, el título nobiliario del
pueblo pertenece a la
familia Crespí de Valldaura. La ciudad conserva en su
casco antiguo parte de su estructura urbana
medieval, delimitada por la línea de
murallas de la Callosa intramuros, que se puede cruzar todavía hoy por una de sus
puertas originales: el Portal. A lo largo de esta línea se tiene la imagen más tradicional de Callosa con los restos de las murallas (s. XIV) y del
Castillo (± 1395 - s. XVIII), declarados Bien de Interés Cultural en 2005.