El castillo se mandó construir por García Álvarez de Toledo y Carrillo de Toledo, duque de Alba, entre 1473 y 1478.
Su arquitectura es particularmente llamativa, con una forma prismática de sección cuadrangular a la que se le añaden donjones semicilíndricos en cada uno de sus lados, dando lugar a una planta «polilobulada», es decir, con cuatro lóbulos formados por los donjones y cuatro salientes en esquina. El castillo cuenta con una barbacana en su interior, lo que ha sorprendido a algunos historiadores...