Al cambio de dirección se debió también que unas
esculturas de ángeles que iban a coronar el
edificio según el proyecto original se colocasen finalmente de forma exenta en el
jardín del
palacio. En 1913, cuando el obispo de Diego fue trasladado a
Salamanca, el palacio quedó abandonado, aunque el sótano fue convertido provisionalmente en
museo arqueológico. Durante la Guerra Civil sirvió de cuartel de artillería y sede de la Falange. Entre 1943 y 1955 se restauraron los daños ocasionados durante la guerra.