En el siglo xix, en el año 1896, los Duques de Frías lo ceden en usufructo al
Ayuntamiento de
Medina de Pomar, para pasar a su completa propiedad. Fue restaurado en los 90 e inaugurado como
museo en noviembre del 2001. Ubicado al sur de la ciudad, junto al antiguo
Hospital de la Vera
Cruz (hoy hospedería) y cerca de la
Ermita de
San Millán, en su interior alberga una
iglesia, el panteón familiar de los Velasco y el Museo de los Condestables. Asimismo, dispone de una acogedora hospedería y salas de
reuniones.