Las primeras palabras de castellano aparecieron en los Cartularios de Valpuesta, cuna y origen del Castellano
En un reducido apéndice de tierra que, jugando caprichosamente con las fronteras, se adentra en tierras de Álava detrás de la Sierra de Arcena (nunca se puede entender por qué Valdegobía no es de Burgos o San Zadornil de Álava), en un reducido valle a orillas de un arroyo, en la carretera interior que parte de la que une Burgos con Bilbao por el puerto de Orduña, está situado en terreno llano y cargado de historia, VALPUESTA, a 40 kilómetros de Villarcayo, 26 de Miranda de Ebro y 90 de Burgos.
Está rodeado por tierras de Álava, excepto por el sur que linda con San Millán de San Zadornil.
Su nombre aparece ya escrito en su propio cartulario, al relatar su repoblación y refundación por el obispo Juan en 804, afirmando que se encontró una basílica anterior ya abandonada. Y lo encontramos también citado en el cartulario de San Millán de la Cogolla en 949. El Catastro del Marqués de la Ensenada recoge en sus respuestas generales en 1752 las declaraciones de sus pobladores afirmando que pertenecían al abadengo del Arcediano de Valpuesta.
Contaba con 60 habitantes en el año 1848, como hace constar Pascual Madoz en su Diccionario geográfico. Creció, como la inmensa mayoría de los pueblos de la provincia, a lo largo de la segunda mitad del siglo XIX hasta llegar a 81 personas en el año 1900, número que mantenía en 1950, superadas las dificultades de la dura primera mitad del siglo XX. Y se mantiene con 13 habitantes en el año 2000, después de soportar los efectos de la persistente emigración de la segunda mitad del siglo.
Fue obispado, con influencia en todo el norte de España desde 804 hasta 1087 en que es trasladado a Oca y después a Burgos, quedando convertido
en Colegiata, que se mantiene hasta 1852.

Valpuesta es, sin lugar a ninguna duda, la cuna del castellano escrito, ya que aparecen palabras escritas en castellano en el siglo IX, mientras que los de San Millán de la Cogolla pertenecen a los siglos X-XI, como ha demostrado el profesor Nicolás Dulanto en su obra “Valpuesta, cuna del castellano escrito”.
Tiene una torre cuadrada almenada, con tejado, de la primera mitad del siglo XV, de la que los principales señores fueron los Velasco, que formaba parte de una gruesa muralla que rodeaba la Villa, de la que quedan restos.