Es este un singular castillo-palacio construido dentro del antiguo Castillo de Fontanar, de origen árabe y del cual sólo se conservan algunos lienzos de la antigua muralla y la Torre del Homenaje.
Torre del Homenaje y jardín del palacio.
Per Afán de Rivera, Adelantado y Notario Mayor de Andalucía, compra el castillo y sus pertenencias en el año 1398 a sus dueños, que lo eran a su vez por haberlo comprado a los señores de la Casa de Marchena, a quienes les fue donada la villa y el castillo por el rey Enrique II hacia el año 1387.
El castillo se restaura y se transforma en palacio renacentista-plateresco durante el siglo XVI por la familia Enríquez de Ribera, y entre ellos por el afamado don Fadrique Enríquez de Ribera, primer marqués de Tarifa por merced de los Reyes Católicos, y por entonces Señor de la Villa de Bornos, quien contrata a artistas españoles e italianos para llevar a cabo sus obras.