En el siglo XVIII fue
Colegio Jesuíta de
San Luis Gonzaga. Tras la expulsión de la Orden en 1767 cumplió diversas funciones: cárcel, cuartel o consistorio. Destruido por un incendio en 1841, sobre sus restos se levantó el
edificio actual, construido por Antonio Díaz
Flores.