El promotor de la construcción del castillo de Fuentes de Valdepero fue Diego Pérez Sarmiento III, que heredó las tierras de su padre en 1425, convirtiéndose en señor de Fuentes de Valdepero, casado con Teresa de Zúñiga con la que no tuvo descendencia, tuvo dos hijos fuera del matrimonio que legitimó, García Sarmiento y Bernardino Pérez Sarmiento.