La Ermita de Urrialdo debe su nombre al pueblo que existió a su alrededor hasta el siglo XIV, cuando fue destruído por las guerras de banderizos, salvándose únicamente la iglesia parroquial y un edificio adyacente. Este edificio se incendió en 1935 propagándose el fuego a la iglesia y destruyendo ambos edificios por lo que sólo quedan sus ruinas.