El origen de esta fortificación hay que buscarlo en el reinado D. Dionís, monarca portugués que conquistó esta población en 1296 juntamente con otras poblaciones fronterizas, varios años más tarde, 1308 mandó construir un conjunto de torres-fortalezas que dominan la frontera con clara intención disuasoria. De vuelta a manos castellanas en medio de continuos conflictos fronterizos, Enrique IV entrega reforzó la posición fronteriza hasta que en 1476 se hizo cargo de la misma la Casa Ducal de Alba.