El viajero que llega hasta Alija del Infantado, casi en el límite provincial entre León y Zamora, queda sorprendido por la extensión del castillo-palacio de mismo nombre que se encuentra en uno de los extremos de la población.
El castillo de Alija es obra del siglo XV. Tiene largas murallas salpicadas de torreones de planta semicircular (en las esquinas y rodeando la entrada) y rectangular (en el centro de los lienzos) todas ellas rematadas con almenas. Se presupone la existencia de un torreón defensivo en la época romana, pero, a falta de datos más concretos, se puede justificar la existencia de una fortaleza allá por el año 931.
Dicha fortaleza iría sufriendo sucesivas modificaciones a lo largo de los siglos XIII, XV y XVI.
En el interior del castillo se encontraba el Palacio de los Ponce.
Estos fueron unos de sus primeros dueños; pasando después a los Rodriguez Neyra, los Quiñones, los Condes de Benavente y los Duques del Infantado.