Tras la conquista islámica, en el año 804 el obispo Juan llega a Valpuesta, encuentra las ruinas de un templo, edifica allí un Santuario dedicado a la Virgen y crea la diócesis.

Y allí se documentaron los Cartularios de Valpuesta, primeros textos en castellano y en euskera. Y ahí ya aparece el pueblo de Gaubea, como núcleo importante en la calzada que llevaba a Peniella.

Paseando por sus calles, podemos atravesar el barrio de las cagolitas, donde podemos ver la casa de los Angulo, con su precioso escudo y una placa que recuerda el paso de Carlos V en el año 1837. Completan el conjunto de casas nobles otras dos, una del siglo XVII y otra del siglo XIX.

También podemos ir al barrio de la paja, nombre debido a la abundancia de casas de labranza con sus eras para la trilla. Para llegar a este barrio, es necesario atravesar el puente sobre el río Omecillo. Muy cerca, veremos un molino y la famosa Sebe, la única presa de madera existente en Euskadi, desde el año 1781, declarada Bien Cultural en el 2011.

La iglesia está dedicada a San Julián y Santa Basilisa, lo que hace que este pueblo sea de los más madrugadores en celebrar sus fiestas, ya que se celebran el 7 de enero. Es un templo románico, del siglo XIII, aunque restaurado en el siglo XIX.

La iglesia, que aparece de manera altiva por la esbelta figura de la torre que descansa a los pies del templo, tiene por titular a San Julian y Santa Basilia. Posee planta rectangular y una sola nave. La torre de planta rectangular, fue construida en el año 1801, con el cuerpo superior ocupado por el tradicional campanario en el que reza otra fecha 1985 Al norte del templo parroquial, a nivel superior, se presenta la ermita de Nuestra Señora del Olmo, denominada así por haberse encontrado la imagen en lo alto de un olmo.
La ermita es de planta rectangular y fue edificada o restaurada en el año 1779. La portada se obra en arco de medio punto de buen dovelaje. El muro de cabecera es coronado por recogida espadaña de un sólo hueco en el que se aloja una campana.