Su fábrica da idea del aprecio que por Madrigal sentía su patrocinadora, María de Aragón, primera esposa del rey Juan II de Castilla, que en tantas ocasiones plantó sus reales en la villa.
El edificio albergó a pobres y desamparados, prolongando su uso original nada menos que hasta 1943, casi medio milenio. Hoy acoge la Oficina de Turismo, un Museo dedicado al humanistas y precursor de los derechos humanos Vasco de Quiroga y un Aula de la naturaleza.