En el año 711, Vejer cayó en manos musulmanas tras la batalla de Guadalete, en la cual los musulmanes, comandados por Táriq ibn Ziyad, derrotaron a Don Rodrigo. La población permaneció bajo dominio árabe durante cinco siglos y medio, denominándose Bashir. De esta época quedan vestigios como la
puerta del
castillo, del siglo xi, parte de las
murallas y el entramado de sus
calles. Vejer volvió a manos cristianas en dos ocasiones. La primera, en el año 1250, bajo el reinado de Fernando III "El
Santo". Regresó al dominio árabe en junio de 1264, tras una revuelta en la que tomaron por fuerza el castillo. La segunda y definitiva se inició en agosto de 1264, expulsando a los mudéjares, y terminó en 1285.