Anteriormente en este solar, hubo un edifico conocido como el Palacio del Vicario de San Victorián, que también fue Palacio del Justicia de la Ribagorza.
La casa actual debe su nombre al Barón de Abella de la Conca que adquirió el edificio a finales del siglo XVIII, y quién mandó decorar la fachada con vivos colores para alegrar y complacer a su esposa.

(Abril de 2013)