Se comenzó a construir sobre 1430 y se concluyó en el siglo XVI, siendo desde el momento de su construcción residencia de los duques de
Alba de Tormes. Destruido por Julián Sánchez el Charro durante la Guerra de la Independencia, tras haber servido de cuartel a las tropas francesas, al llegar al siglo XX únicamente quedaban en pie algunos lienzos de la
muralla y la
torre de la Armería o del
homenaje, restaurada a mediados del siglo XX cuando el entonces duque, Luis Martínez de Irujo descubrió las pinturas ocultas. La sobriedad de los severos muros de la antigua Torre del Homenaje, contrasta con la grandeza de su interior, donde la Sala de la Armería muestra frescos renacentistas realizados por el italiano Cristóbal Passini. La sala baja alberga una
exposición de los restos arqueológicos encontrados en las excavaciones realizadas en el propio
castillo en 1993.