Palacio construido en los siglos XV, XVI por la familia de los Fernández de Brizuela. La familia ocupó cargos administrativos importantes como alcaide del castillo de Berlanga y ayudante del Condestable de Castilla.

Aunque la familia de los Porras se estableció en Cidad, siendo el palacio y la casa fuerte de esta localidad el origen de su apellido, Pedro Gómez de Porras poseía casa en Puentedey y ciertos bienes que en un primer momento pasaron a sus hijas. Una de ellas, Teresa López de Porras casó con Juan Fernández de Brizuela, con lo que la torre de Puentedey llegó a los Brizuela a través de este matrimonio. Su hijo primogénito, Alonso Fernández de Brizuela, natural de Puentedey, casó con doña María Isla y pasó a vivir a Berlanga, donde fue alcaide de su fortaleza y curador de doña María de Tovar, mujer de Íñigo Fernández de Velasco, condestable de Castilla. Nieto suyo fue Francisco de Brizuela, natural de Berlanga, casado con doña Ana de Saravia, contador del condestable de Castilla, del que toma nombre el palacio. (1)

Sobre el puente natural se encuentra el palacio fortificado. Consta de dos torres al Norte y Sur, unidas por un cuerpo más bajo y estrecho. Construido en mampostería de piedra caliza y arenisca trabada con mortero de cal y sillar en los vanos. Las torres son de planta rectangular con cuatro plantas. Actualmente se encuentra con tejado, aunque bajo el alero se aprecian una especie de almenas. Los vanos que hoy subsisten, pertenecen ya a época renacentista, junto con otras ventanas y balcones aún más modernos. La fachada central está ubicada en el lado Este, situándose en la torre Sur una ventana bordeada con bajorelieve de flores. La portada está coronada por un escudo y presenta cornisa sobre el escudo (las cinco flores de lis de los Porras) y ventana decorada con rosetas