Lo mandó construir, a modo de
castillo-
palacio, Don Rodrigo Alonso Pimentel, cuarto conde de Benavente, miembro de la poderosa nobleza castellana y poseedor de numerosos
castillos, en el siglo XV sobre una antigua
torre del siglo XIII perteneciente a la
familia Losada. La construcción se alargó hasta principios del siglo XVI y prestó buenos servicios a los Reyes Católicos en su lucha con
Portugal. En el siglo XVII se amplió con nuevas técnicas de artillería.