La construcción del palacio se inició en 1889 en granito gris procedente de El Bierzo en estilo neogótico y con planta de cruz latina.
En el exterior encontramos tres ángeles con los atributos episcopales, la mitra, el pectoral y el báculo diseñados por Gaudi para rematar la cubierta pero que nunca llegaron a ocupar ese lugar.