Durante los siglos XV y XVI, Vejer estuvo dominada por los Guzmanes, y ya en la Edad Moderna el pueblo se enfrentó, con Juan Relinque a la cabeza, contra los Duques de Medina Sidonia por el control de las tierras comunales, denominadas Hazas de Suerte. Hoy en día vive de la agricultura y la ganadería brava, aunque en los últimos tiempos está creciendo bastante en lo que se refiere a la construcción de casas, comercios y edificios, debido en parte a la proyección turística del municipio, gracias a su belleza y singularidad.