Continuando con la labor de renovación iniciado por sus antepasados, Per Afán (III) de Ribera y Portocarrero, primer Duque de Alcalá de los Gazules por merced de Felipe II, y por entonces virrey de
Cataluña y Nápoles, manda traer de
Italia una rica colección de mármoles, parte de los cuales dispone para este
palacio, encargándole a su arquitecto Benvenuto Tortello, nacido en Brescia, la adaptación de la vieja fortaleza y la creación de unos
jardines platerescos, en cuyas galerías con
hornacinas y arquerías pudiera exhibir su elegante colección de
esculturas clásicas de motivo mitológico (destacando su logia,