En 1562, Pedro Téllez Girón se convierte en duque de Osuna, que serán los señores de la villa hasta 1843, año en el que quiebra la
familia, y en el que el título de señor de
Olvera queda vacante hasta que en el 8 de agosto de 1974, el jefe del Estado en funciones, el entonces príncipe de
España Juan Carlos de Borbón, se rehabilita al general Vicente Fernández Bascarán en el citado título tras demostrarse su parentesco con el último Señor de Olvera.