La llegada de los visigodos permitió que la localidad gaditana adquiriese un nuevo carácter. De esta época datan la actual torre de la Mesa del Esparragal como la desaparecida Ermita de los Santos Nuevos, donde se encontraron reliquias de los Santos Mártires Servando, Germán, Saturnino, Justa y Rufina. En 1248 conquistó el municipio Fernando III, pero pasó de nuevo a poder de los musulmanes, hasta que en 1264 Alfonso X el Sabio la reconquistó. En la Guerra de la Independencia, los habitantes de Alcalá de los Gazules organizaron su propia defensa contra los franceses.