De él heredarían la titulación de la villa los Duques de Medina Sidonia. Durante los siglos XV y XVI, la vida de Vejer transcurrió bajo dominio de los Guzmanes, destacándose ya en la edad Moderna el enfrentamiento de los vejeriegos, con Juan Relinque a la cabeza, contra los Duques de Medina Sidonia por el control de las tierras comunales, denominadas Hazas de Suerte.