La casa de Alba se encargó de construir el castillo. El Gran Duque Don Fernando Álvarez de Toledo tuvo en este castillo su segunda morada. Su planta es cuadrada, y presenta cubos cilíndricos en sus esquinas. Su situación es marcadamente estratégica, dominando el paso del río y el valle. El exterior está completo, el interior vacío. Ha sido restaurado parcialmente. Es de propiedad municipal, y se utiliza para actividades culturales y recreativas, principalmente en verano.