La presencia de una
montaña justo enfrente de Cornatel impedía a los caballeros observar la fortaleza ponferradina, así que para comunicarse entre ambas utilizaban
señales de humo. Posteriormente fue el conde de Lemos, Pedro Álvarez Osorio, quien lo ocupó y lo convirtió en su residencia habitual.