Y a finales del siglo xii los obispos de
Orense ordenaron edificar la fortaleza de Castelo Ramiro, que está situada sobre un
monte desde el que se domina la ciudad y desde donde podían controlar la entrada y salida de personas y mercancías en Orense, aunque dicha fortaleza fue derribada por orden de los Reyes Católicos en 1486. Acontecimientos importantes en la vida de la ciudad en el
medievo fueron la ocupación del duque de Lancaster, que se proclamó en Orense rey de Castilla por los derechos de su esposa; la segunda revuelta irmandiña (1468) y ya en 1501 la entrevista que sostuvieron Felipe el Hermoso y doña Juana con el cardenal Cisneros.