El Palacio, es en realidad una casona rural, típica de los caballeros villanos que tanto abundaban en la Castilla medieval y que basaban su fortuna en las propiedades agrarias; su construcción data de mediados del S. XV, aunque posteriores reformas la dotan de huellas renacentistas, visibles aún en su patio columnado de estilo renacentista; su aspecto de fortaleza sé reforzaba con los torreones que fueron derribados en la década de los cincuenta; su primer dueño debió ser D. Juan Sánchez de Zuazo, Oidor de la Real Audiencia, siendo rey Juan II; según Colmenares, fue constructor de la famosa puente llamada de Zuazo en Cádiz; sus descendientes emparentaron con los Jiménez, los Arias Dávila y Virués y una larga lista de Caballeros y nobles segovianos; algunos de ellos ocuparon cargos de importancia en la administración del Nuevo Mundo. De casa principal durante la baja edad media, a lo largo de los siglos XVI y XVII esta casona se convirtió para sus huéspedes, en lugar de esparcimiento y recreo que era atendido por el mayordomo, criadas y hasta capellán propio..