Junto al embalse de Gabriel y Galán, dentro del pueblo abandonado de Granadilla, se encuentra este castillo y su recinto amurallado, sobre un cerro rocoso.

Esta ubicación privilegiada motivó que en el siglo IX los musulmanes tomasen interés por el emplazamiento, levantando una alcazaba en su parte más vulnerable y fue convertida en paso obligado entre la antigua vía de la plata romana y la comarca de Las Hurdes.

Tras su toma en 1170 por Fernando II de León, la villa fue reforzada con una muralla que rodeaba todo el caserío y se rehízo el castillo, con el fin de convertirla en plaza segura frente a posibles ataques musulmanes por el sur.

A lo largo del periodo siguiente, Granadilla cambiaría de manos varias veces. Empezó siendo encomienda y lugar principal de la Orden de Santiago, para depender luego del Señorío de Alburquerque, quedar bajo la jurisdicción real y finalmente, pasar al Ducado de Alba. En 1310, bajo el reinado del monarca Alfonso IX, Granadilla llegó a tener voto en las cortes de Castilla, durante siglos se convirtió en la capital de un señorío que comprendía hasta los 18 municipios.

Durante su esplendor en la edad media, esta localidad tenía el nombre de Granada, los árabes le dieron este nombre por la similitud de la estructura de la muralla con la fruta. Mantuvo su denominación hasta que los Reyes Católicos conquistaron la ciudad andaluza a finales del siglo XV, entonces, se le rebautizó como “Granadilla”, ….. la pequeña Granada.

La torre (castillo de Granadilla) se cree que mandado construir por el primer Gran Duque de Alba don García Álvarez de Toledo en la segunda mitad del siglo XV, aunque no se ha podido determinar el autor de tan singular traza y magnífica obra, de inequívoca influencia italiana.

La fortaleza está compuesta por una torre prismática central y torres semicilíndricas adosadas a cada lado, construida con sillería. La torre consta de 4 plantas, en las que se encuentran el sótano con aljibe y mazmorras, 2 plantas para ser habitadas y 1 superior que hace de sala de armas.

Uno de los puntos más curiosos de esta fortaleza es que el antemuro o barbacana que está construida hacia el interior del recinto amurallado, y no hacia fuera, como sería lo lógico.

Granadilla está rodeada por una muralla almohade sin torres, hecha de mampostería y sillares de 800 metros de perímetro, 7 de altura y 3 de anchura, en la que se abren 2 puertas, la de la Villa (o de Béjar) y la de Coria.

A mediados de los años 50 del siglo XX, los vecinos fueron obligados a abandonar sus casas por la construcción del embalse Gabriel y Galán. Sin embargo, las aguas no cubrieron este emplazamiento en altura, dejando un pueblo fantasma en una pequeña península y que guarda perfectamente su tipología primitiva.