El primero que se construyó data de 1350, aunque el actual que hoy se puede ver fue edificado en la segunda mitad del XVI, por mandato del Arzobispo Don Cristóbal de Vela Acuña. Está construido en piedra de sillería, con dos pisos, aunque años tras tenía tres pisos, con una puerta de estilo renacentista y con su escudo. También posee un gran patio. Las 12 columnas que había en el claustro del palacio se encuentran actualmente en el Palacio de la Moncloa, en Madrid. Este palacio ha pasado por varios dueños, dedicándolo los últimos a almacén de grano, almacén de antigüedades, y el actual dueño, simplemente se encarga de mantenerlo en pie.