Fundado por don Gaspar de Bracamonte y Guzmán, III Conde de Bracamonte. Las obras terminaron a finales de 1669 y las trazas del
edificio fueron obra de Fray Juan de
San José, y para su ubicación se escogió un terreno a las afueras de la villa. El atrio fue la última parte de la construcción, cuyas trazas son de Fray Pedro de la Visitación, al igual que la
cúpula de la
capilla de San José que está decorada con yeserías con motivos geométricos. Se trata de un edificio de estilo barroco-carmelitano. El edificio en sí tiene planta de
cruz latina, con el crucero marcado con la cúpula en el centro. La nave consta de tres tramos divididos por fajones que se sostienen en pilastras de estilo toscano. Fue declarado
Monumento y Bien de Interés Cultural en 1996. Alberga una magnífica colección de pinturas y tallas barrocas italianas además de tallas de
escuela castellana de Gregorio Fernández entre otras.