Se presupone la existencia de un torreón defensivo en la época romana, pero, a falta de datos más concretos, se puede justificar la existencia de una fortaleza allá por el año 931.
Dicha fortaleza iría sufriendo sucesivas modificaciones a lo largo de los siglos XIII, XV y XVI.
En el interior del castillo se encontraba el Palacio de los Ponce.
Estos fueron unos de sus primeros dueños; pasando después a los Rodriguez Neyra, los Quiñones, los Condes de Benavente y los Duques del Infantado.
Dicha fortaleza iría sufriendo sucesivas modificaciones a lo largo de los siglos XIII, XV y XVI.
En el interior del castillo se encontraba el Palacio de los Ponce.
Estos fueron unos de sus primeros dueños; pasando después a los Rodriguez Neyra, los Quiñones, los Condes de Benavente y los Duques del Infantado.