Palacio de los Brizuela, Palacio construido en los siglos XV, XVI