Sobre la cabeza del oso y el buey que están representados en el dintel de la puerta, cuenta la tradición que los canónigos acarreaban la piedra de grano, rosada, desde el Pico de los Tres Concejos, por el camino de Pendilla, para construir el hospital. Al yugo del carro tiraban uncidos un para de bueyes, a los que un lego espoleaba. El lego hizo un descanso y quedó dormido. Durante ese tiempo, un oso se acercó a los bueyes y devoró a uno de ellos. Al despertarse el lego, agarro al oso por los cabezones y, metiéndolo bajo el yugo, lo ató en el lugar que había ocupado su víctima y hostigó a la pareja hasta llegar a la obra.