Cuando los Reyes de León donaron Ponferrada a la Orden del Temple, en el año 1178, los caballeros templarios encontraron una pequeña fortaleza que en un principio había sido un castro y más tarde una ciudadela romana.
Lo ampliaron y mejoraron para defender el Camino de Santiago; estaría terminado en el año 1282.
El Castillo en la actualidad es el resultado de varias obras de edificación. Mejoras y nuevos elementos desde el primer muro de planta cuadrada de principios del siglo XII hasta los últimos tramos construidos a finales del siglo XV y principios del XVI.
Otras mejoras, como las caballerizas en 1848 y la larga serie de reformas que se realizaron desde principios del siglo XX, han contribuido a la complejidad del monumento tal como se conoce hoy.