Data del siglo XV-XVI. Los primeros señores de Hormaza fueron los Carrillo. Al morir el sexto señor sin descendencia los bienes pasaron a Juana, casada con Gonzalo Muñoz (o Núñez) de Castañeda, con lo que se pierde aquella varonía. A fines del s. XVII se daba el mayorazgo a María Luisa Crespí de Valdaura (o Delgadillo Avellaneda), uniéndose así al condado de Sumacárcel que entroncaría con los condes de Orgaz, cuyos descendientes mantienen la propiedad.
El edificio es de planta cuadrada, dispone de foso y cubos en dos de sus esquinas. Aún se encuentran en pié tres de sus lienzos -entera una pared de 15 metros de altura y restos de otras dos-, almenados con remates en punta de diamante. Se rodeaba de foso y una barrera exterior o barbacana con cubos en las esquinas, de los que aún se conservan algunos. En su interior todavía pueden verse restos de paredes de sus estancias que se agrupaban alrededor de un patio central descubierto antaño y hoy cubierto por una nave agrícola. La fábrica es de doble lienzo de sillarejo de caliza, con interior de tapial y calicanto y sillares en las esquinas. Sus muros llevan relleno unas veces de piedra y otras de tapial. Los llamativos y bonitos escudos que lucen sobre sus muros corresponden a los apellidos Castañeda, Zúñiga, Enríquez y Velasco, que fueron familias que ostentaron su propiedad. Algunos de estos escudos han sido arrancados y llevados a otro sitio. En el interior del castillo se ha construido una nave agrícola, utilizando sus piedras. Unos arcos del castillo han sido desmontados y trasladados a una casa particular de Ávila.

Se encuentra en un estado de ruina progresiva y ha sido sujeto de acciones de expolio.