Con el transcurso del tiempo el
castillo pasó a ser propiedad de Villavieja, un diminuto
pueblo situado a escasos metros de la fortaleza. Pero desde 1600 hasta 2004 el recinto permaneció abandonado, lo que propició que surgieran toda suerte de leyendas y rumores sobrenaturales.