En el 711 pasó a manos musulmanas tras la batalla de la Janda, en la cual los musulmanes, comandados por Tarik, derrotaron a Don Rodrigo. Reconquista del municipio por las tropas. cristianas en el siglo XIII. Durante cinco siglos y medio permaneció bajo dominio musulmán, denominándose Besher. Quedan vestigios como la
puerta del
castillo (Siglo XI), parte de las
murallas y el entramado de sus
calles. Vejer volvió a manos cristianas en dos ocasiones. En una primera, en el año 1250, reinando Fernando III "El
Santo", y volvió a manos árabes en junio de 1264, tras una revuelta en la que tomaron por fuerza el castillo.