No es mucho lo que ha llegado hasta nosotros de la residencia de los duques de Alba en esta localidad. El castillo fue ocupado por los franceses durante la guerra de la independencia; estos ya causaron grandes destrozos durante su ocupación y, sobre todo, cuando se vieron obligados a evacuar la localidad. El remate final se lo dio Julián Sánchez "El Charro", que temeroso del regreso de los franceses, ordenó incendiarlo.