Fundado fuera de las
murallas del
pueblo por D. Fernando de Andrade en 1.538 con el nombre de
Santa María de la Gracia, fue cerrado en 1835 debido a las leyes de
desamortización. Del momento de la fundación se conserva un ala del
claustro renacentista, mientras que la actual
fachada principal es barroca, de la segunda mitad del siglo XVIII.
Entre 1.842 y 1.848 funcionó como cuartel y
escuela. En 1.848 fue subastado y pasó a manos privadas hasta que en los años ochenta del siglo XX fue adquirido por el
Ayuntamiento, convirtiéndose en
Casa de la Cultura. La
iglesia, que no fue subastada, fue demolida en 1.867 para abrir la avenida de Rajoy, mientras que la
huerta fue adquirida en 1.864 al particular que la había
comprado, pasando a llamarse Alameda de Rajoy, sirviendo por mucho tiempo como
campo para la
feria del
ganado.