El edificio del Ayuntamiento fue el antiguo Colegio Menor de Clérigos Ministros de los Enfermos de San Carlos Borromeo o Convento de los Agonizantes,
construido en 1614. El arquitecto Cirilo Vara y Soria remodeló en 1870 el edificio para su nueva función.