En la portada del Palacio destaca el escudo del Cardenal Infante Luis Alfonso de Borbón, que sustituyó al de Carlos y en el siglo XVIII, a los lados de este hay dos escudos del Cardenal Fonseca. La parte alta de la fachada está rematada con una galería de arcos.