Edificio mandado construir a finales del siglo XVI por los hermanos Hernando de Herrera y Lopez de Molina Valenzuela, ambos canónigos de la
Colegiata de
Santa María. Su último propietario fue Pedro de
Toledo, marqués de Mancera, de quien recibe el nombre. Elemento destacado de la construcción es la
torre conocida como Torre del Tesorero.