El primero que se construyó data de 1350, aunque el actual que hoy se puede ver fue edificado en la segunda mitad del XVI, por mandato del Arzobispo Don Cristóbal de Vela Acuña. Está construido en
piedra de sillería, con dos pisos, aunque años tras tenía tres pisos, con una
puerta de estilo renacentista y con su
escudo. También posee un gran
patio. Las 12
columnas que había en el
claustro del
palacio se encuentran actualmente en el Palacio de la Moncloa, en
Madrid. Este palacio ha pasado por varios dueños, dedicándolo los últimos a almacén de grano, almacén de
antigüedades, y el actual dueño, simplemente se encarga de mantenerlo en pie.