Sus orígenes se remontan al siglo XII, cuando el rey Fernando II de León hizo construir una simple atalaya. En el siglo XIII, el rey Sancho IV de Castilla convirtió la primera torre en un castillo. Fue devastado por las contiendas de la época de Enrique IV de Castilla y por las de las Comunidades, pero posteriormente, el I Duque de Alba de Tormes, García Álvarez de Toledo, lo reconstruyó y lo convirtió en su palacio privado, siendo propiedad dela Casa de Alba hasta la actualidad. Se conserva solo la torre del homenaje de las seis que llegó a tener.