La segunda y definitiva se inició en agosto de 1264, expulsando a los mudéjares y terminó en 1285. Ese mismo año, Sancho IV concede a la Orden de Santiago el señorío sobre Vejer para consolidar el territorio de manera más rápida, aunque dicha orden nunca tomó posesión de Vejer. En 1307, después de una segunda repoblación, pasa a ser señorío de Guzmán el Bueno, que desde 1299 era ya dueño del señorío de las almadrabas de toda la zona del Estrecho de Gibraltar, y tras tomar Tarifa, se convirtió también en el defensor del Estrecho, llegando a ser dueño y señor, después del rey, de estas tierras. De él heredarían los Duques de Medina Sidonia.