A pesar de que es un castillo, los broceños lo conocen como "El Palacio". Es uno de los mejores ejemplos de la arquitectura militar de la Orden de Alcántara.
Reedificado a finales del Siglo XVI, excepto la torre del homenaje que corresponde al XIV, su recinto principal es cuadrado, con el flanco de poniente achaflanado. Levantado sobre la parte más alta de la villa, dispone un recinto exterior realizado en mampostería y protegido por torretas semicirculares y muros en talud. Sobre la puerta principal está el escudo de Felipe II.
En el interior existen varias dependencias de diferentes épocas: caballerizas, aljibe y compartimentos del siglo XV, y un patio columnado en forma de "L", de finales del XVI.