En el año 711, Vejer cayó en manos musulmanas tras la batalla de Guadalete, en la cual los musulmanes, comandados por Táriq ibn Ziyad, derrotaron a Don Rodrigo. La población permaneció bajo dominio árabe durante cinco siglos y medio, denominándose Bashir. De esta época quedan vestigios como la puerta del castillo, del siglo xi, parte de las murallas y el entramado de sus calles.