El Castillo tiene ya en el siglo X una gran importancia como baluarte defensivo del reino de Castilla, en su límite occidental junto al río Pisuerga. Esta sobria torre le da el apellido a la villa, que ya en el año 934 se denominaba Itero del Castillo.

A principios del siglo XV don Juan Fernández de Velasco adquirió Itero, y ya se menciona en esa compra la torre, por lo que el torreón que hoy conocemos pudo realizarse a finales del siglo XIV, como atestiguan sus características estilísticas. Posteriormente el castillo pasó a manos del conde de Haro, y en el siglo XVII era propiedad del duque de Lerma.

El castillo está situado en un pequeño cerro conocido como “la mota”, lugar que estuvo cercado al igual que el resto del pueblo. En la actualidad sus alrededores se encuentran minados por multitud de bodegas construidas en siglos pasados. La torre está realizada en piedra de sillería, es de planta casi cuadrada. Se accede a él por una pequeña puerta de arco apuntado.

Tiene una bella ventana geminada con arquillos apuntados. Ha perdido en su totalidad la zona almenada y unas profundas griegas lo recorrían de arriba abajo amenazando su estructura. Afortunadamente hemos visto cómo en el 2004 comenzó su restauración, concluida con buen criterio. Actualmente se encuentra abierto al público y desde el verano pasado vienen celebrándose en él exposiciones temporales de gran interés.