El Castillo se levanta sobre otro destruido en 1507.
En 1515, la reina Juana I concedió el permiso de reconstrucción a Pedro de Toledo, esposo de María Osorio y Pimentel, II marquesa de Villafranca del Bierzo. Este reconstruyó el castillo para ser utilizado como lugar de residencia para el Marquesado de Villafranca.