Hacia el siglo XV era palacio fortificado. Lo mandó construir el Conde de Miranda para que viviera su hija con su marido, un noble de San Martín (que a partir de esa fecha, pasó a llamarse San Martín del Castañar). Es propiedad del Ayuntamiento de San Martín del Castañar, y alberga el cementerio municipal.