Durante los siglos XV y XVI, Vejer estuvo dominada por los Guzmanes y, ya en la Edad Moderna, el
pueblo se enfrentó, con Juan Relinque a la cabeza, a los Duques de Medina Sidonia por el control de las tierras comunales, las denominadas "Hazas de la Suerte" Actualmente se trabaja en su reconocimiento como Bien de Interés Cultural y patrimonio inmaterial de la humanidad (UNESCO).