El núcleo original del
edificio es la
Torre del Consejo, que se construyó entre 1441 y 1444, dirigido por el maestro Beiam. Antaño, la torre estaba integrada en la
muralla de la ciudad, y su portal servía de lugar de paso entre la
plaza de Baix y el
Mercado. En 1548 Sebastián Alcaràs convirtió tanto la Torre y la Lonja adjunta en un solo
palacio de estilo renacentista., con una sala de consejos abierta al exterior por dos huecos aristados y coronados por un dintel con decoración escultórica (una composición similar a las
ventanas del
Colegio de
Santo Domingo de Orihuela). En esta reforma de Alcaràs también se realizaron el palco superior de
arcos de medio punto sobre pilares, en la forma en que en aquellos momentos se estaba haciendo en otros
edificios públicos valencianos, como la
Casa Consistorial de Alzira o el
Hospital de Xàtiva, y la
escalera de caracol en el interior. El último cambio hecho fue en 1645 cuando se construyó el ala de levante, dejando así la Torre en el centro del edificio.