Edificio construido sobre los restos de la antigua Zuda musulmana, fortaleza de carácter
militar. En 1386, tras la Guerra de los Dos Pedros (1356-1369) la Zuda fue adquirida por el obispo Pérez Calvillo. A mediados del siglo XV comenzó la transformación del edificio militar en el gran
palacio que hoy es y que no acabó hasta el episcopado de González de Munébrega (1547-1567).