Anteriormente en este solar, hubo un edifico conocido como el
Palacio del Vicario de
San Victorián, que también fue Palacio del Justicia de la Ribagorza.
La
casa actual debe su nombre al Barón de Abella de la Conca que adquirió el
edificio a finales del siglo XVIII, y quién mandó decorar la
fachada con vivos
colores para alegrar y complacer a su esposa.