Es una fortaleza comenzada en el XV y terminada en el XVI que perteneció a la familia de los Castañeda, señores del lugar
Este Castillo con imagen de fortaleza, pero con sentido palaciego, también llamado Palacio de los Castañeda, es bien de interés cultural desde Abril de 1949, se sitúa en las afueras del casco urbano de Hormaza, en la entrada del pueblo junto a la vega del río Hormazuela. Se cree que fue levantado entre finales del siglo XV y principios del XVI. Consiste en un edificio de planta cuadrada, con solidos paredones rematados por una cornisa almenada, con un sentido decorativo y barbacanas en sus cuatro lados.

Perteneció a los condes de Castrillo y Orgaz, aunque su origen fue el señorío de los Muñoz Castañeda en el siglo XV, incluso pueden verse escudos de esta familia en sus muros como únicos elementos ornamentales debido a su aparente carácter militar.
La entrada se sitúa entre dos torres, pudiéndose documentar también en este lado la existencia de un foso. En todos sus lados, excepto en el Norte que se encuentra desaparecido, se documenta un balcón con matacanes. Esta rematado por una cornisa almenada. Posee escasos vanos, tanto de medio punto como rectangulares, algunos decorados con pomas.

En la actualidad, sólo permanece intacto el lienzo del oeste, en cuyos ángulos pueden observarse los escudos de los Castañeda, en tanto que los lados este y sur se encuentran gravemente deteriorados.