Las
torres de este
palacio, reconstruido en el año 1699 (el palacio original fue quemado en la Baja Edad Media por el i conde de Castañeda como venganza por la muerte de su hermano a manos de Pedro Fernández Gallo) sobresalen del resto del
caserío del
pueblo. El
edificio actual fue reconstruido por Gregorio Antonio Gallo, obispo de
Segovia, que trasladó el solar familiar desde la cercana
Quintanilla Escalada. La
Casa de Gallo ostentó los títulos de duques consortes de
Santa Elena y marqueses de Viesca de la
Sierra,