Vejer ha estado poblada desde principios del Paleolítico y ya estaba fortificada en la Edad del Bronce. De época tartésica y
romana se han hallado restos que datan del siglo VII a. C. debajo de las
murallas actuales, que se han atribuido a Baesippo. Sin embargo, es posible que esta ciudad estuviera más bien en
Barbate, pues el nombre de Vejer podría proceder de Baesarum, ciudad documentada por Plinio como Baesaro o Besaro.