Desaparecida esta iniciativa consistorial y el guarda que lo conservaba, el castillo cayó en el más absoluto abandono y fue víctima del pillaje, como "cantera" de materiales de construcción. La construcción del Parador de Turismo, que acabó con los restos que perduraban del castillo, fue aprobada en Consejo de Ministros en Madrid en fecha 11 de octubre de 1963, tras la propuesta realizada por el antiguo ministerio de Información y Turismo. Cinco meses antes, el viernes 17 de mayo de 1963, el Consejo de Ministros había aprobado el Decreto por el que se aceptaba la donación al Estado por el ilustrísimo Ayuntamiento de Ayamonte (Huelva), de una parcela de terreno en el paraje "Castillo" con destino a la construcción del Parador Nacional de Turismo de Ayamonte. En 1964 se produjo la demolición definitiva de los restos del castillo que aun perduraban para la construcción del Parador Nacional de Turismo.

(19 de Abril de 2019)