Existen fragmentos del recinto ovalado de las murallas de Villalpando, con la reformada en parte Puerta de San Andrés, y un torreón de la de Santiago. Del castillo, hay un cubo de excelente cantería, y dos lienzos de un recinto rectangular de basta mampostería, dentro de un aplio foso. No parece haber sido dotado de mas fortificaciones en los ´ángulos que el cubo, que es una adición del primer tercio del siglo XVI. Es de dos plantas, con una bóveda de cúpula y grandes buzones. El piso intermedio es un simple forjado de madera. Por el tamaño, sólo tiene rivales de su época en Almería y Berlanga de Duero En la Puerta de San Andrés hay varios escudos uno de ellos es el de los Velasco , señores de la Villa a partir de 1391 ("CASTILLOS SEñORIALES EN LA CORONA DE CASTILLA") de Edward Cooper. (una portillana).