El primer obispo, Don Pedro de Agén, consideró que el antiguo castro, edificado sobre una suave colina, era el lugar idóneo para emplazar la nueva iglesia.
Embutida de este modo en el castillo, la iglesia de San Miguel atestigua, por las construcciones adosadas y superpuestas al templo, que hubo dos castillos o fortificaciones sobre ella: el que construyera en su día el obispo Arias Dávila y otro, más primitivo, del que quedan infinidad de restos arquitectónicos.