Lo mandó construir, a modo de castillo-palacio, Don Rodrigo Alonso Pimentel, cuarto conde de Benavente, miembro de la poderosa nobleza castellana y poseedor de numerosos castillos, en el siglo XV sobre una antigua torre del siglo XIII perteneciente a la familia Losada. La construcción se alargó hasta principios del siglo XVI y prestó buenos servicios a los Reyes Católicos en su lucha con Portugal. En el siglo XVII se amplió con nuevas técnicas de artillería.