Muy cerca de la puerta principal del castillo encontramos una piedra que tiene un poco forma de barca. Está envuelta en una leyenda según la cual un peregrino llego a Villaverde de Lucerna pidiendo limosna y solamente fue ayudado por unas mujeres que cocían pan en un horno.
Como castigo, el peregrino, que era Jesucristo, golpeó el suelo con su bastón, comenzando a salir agua hasta inundar el pueblo y originando el lago de Sanabria. El peregrino y las panaderas se subieron en la piedra con forma de barca que fue arrastrada por la corriente del y que se paró en el monte en el que se ubica Puebla de Sanabria.