Es la residencia de la casa de Alba y fue promovido por el tercer duque de Liria a finales del siglo XVIII. La petición del duque al arquitecto fue que el palacio debía levantarse en el lugar más saludable de toda la ciudad.
El arquitecto colocó varias tiras de carne de ternera al aire libre, repartidas por toda la ciudad. Tras varias semanas volvió a ver en qué estado se hallaban y comprobó que casi todas estaban en avanzado estado de putrefacción, menos una que se conservaba mucho mejor. Era la que estaba en la calle de los Afligidos (actual calle de La Princesa), que se beneficiaba de los aires procedentes de la sierra.