El Infante Don Luís de Borbón, hermano de Carlos III, mandó construir este palacio en 1780 de manos de Ventura Rodríguez.
De estilo neoclásico, se caracteriza por su arquitectura palaciega, su pórtico de proporciones clásicas, concebido como arco de triunfo, y su balcón con balaustrada, todo ello de piedra granítica.
Por el palacio pasaron personajes tan ilustres como Francisco de Goya, Luigi Boccherini o Gaspar Melchor de Jovellanos.