Las catas arqueológicas realizadas recientemente con ocasión de la restauración del Castillo no permiten aventurar gran antigüedad a la fortaleza de Hoyales por más que su situación orográfica pudiera sugerir otra cosa. Tanto Cardiñanos como E. Cooper, y con ellos Esiquio Domingo, imputan su construcción a Constanza de Avellaneda y a Martín V. de Acuña a finales del siglo XV para defender el señorío sobre la Villa de las acechanzas del Conde de Miranda, que lo quería para sí con el resto de la Comunidad de Villa y Tierra. Con todo, en documento de la propia Constanza se lee “... sobre lo que mi padre tenía construido”, texto que permite pensar en una edificación algo anterior, bien que con la misma finalidad de asegurar el Señorío y signo de poder.

A falta de otras referencias documentales, se puede afirmar que los actuales restos del Castillo datan de la segunda mitad del siglo XV, cuando la rama bastarda de los Avellaneda fortificó su jurisdicción sobre la Villa con esta Torre-Castillo y con otras defensas, a las que, según Vegas publicó en 1991, podría pertenecer en origen la torre de la iglesia, bien que esta última afirmación no parece muy verosimil o, al menos, no documentada. Existe tambien la posibilidad de que un callejón de las bodegas pudiera devenir de una antigua trinchera del castillo

Siguiendo a los citados Cadiñanos, E. Cooper y E. Domingo, podemos afirmar que el Castillo de Hoyales disponía de una torre del homenaje de 18 m de altura y 11 de largo en sus cuatro paredes, al parecer similares. El grosor de los muros es de 1,75 m, compuesto de sillería exterior en las esquinas y mampostería rellena de piedra, ripios y cal. De cuatro plantas de forjados, las esquinas se rematan con garitones almenados y en el centro de la pared norte (¿también en las otras tres?) un matacán igualmente almenado. Su defensa se centraba en el muro del sur y las trincheras, hoy semidestruidas con las bodegas, en el resto, aventurándose que la puerta de acceso pudiera estar en la pared del Este.

Vuelta la Villa de Hoyales a la jurisdicción y posesión del Conde de Miranda en el siglo XVI, perdió toda razón de ser y se fue abandonando paulatinamente con el consiguiente deterioro. Con la base documental existente se puede asegurar que sus piedras forman parte de la ermita (1590 y 1713) de la iglesia (1778), del cementerio (1882), del antiguo lagar de las Ánimas y de alguna bodega. Incluso se comenta que pudieran formar parte de las más antiguas casas conservadas del primitivo caserío.

El condado de Miranda paso a la casa de Montijo y, de ésta, a la de Alba, procediéndose en 1883 a la inscripción registral de la fortaleza y otras posesiones en favor de la Casa Ducal de Alba. Venden un año después los duques sus posesiones en Hoyales por 35.000 pts. a don Dionisio Bombín y Veluza, quien, a su vez y por 170.400 pts., vuelve a enajenar las 29 fincas y el castillo a 41 vecinos el pueblo, quienes lo inscriben en la misma proporción en que adquieren los terrenos de labor el 12 de noviembre de 1919. El abandono de esta propiedad proindiviso faculta al Estado para inscribirlo a su nombre en 1967, según expediente administrativo de la Dirección General de Bienes y Derechos del Estado. Por Decreto de 22 de abril de 1949, el castillo de Hoyales goza de protección pública como B. I. C., habiendo sufrido dos restauraciones, en 1986 y 2007, que, además de rectificar los evidentes y peligrosos deterioros de los últimos años, han consolidado las ruinas como símbolo emblemático de la localidad.