Cuentan las leyendas que el arquitecto que dirigía las obras, de nombre Alfonso, era hermano del que construía la Iglesia del Monasterio de Toxosoutos (en Lousame). Habían hecho ambos la promesa de que no verían la obra del otro hasta que estuviese terminada. Alfonso no cumplió la promesa y recibió como castigo que su obra no pudisese ser acabada. De allí salió la copla:
Adeus tí, Ponte Nafonso,
Non 6 quen te acabará,
Trinta anos me levaches,
Flor da miña mocedá.
Adeus tí, Ponte Nafonso,
Non 6 quen te acabará,
Trinta anos me levaches,
Flor da miña mocedá.