Las torres de este palacio, reconstruido en el año 1699 (el palacio original fue quemado en la Baja Edad Media por el i conde de Castañeda como venganza por la muerte de su hermano a manos de Pedro Fernández Gallo) sobresalen del resto del caserío del pueblo. El edificio actual fue reconstruido por Gregorio Antonio Gallo, obispo de Segovia, que trasladó el solar familiar desde la cercana Quintanilla Escalada. La Casa de Gallo ostentó los títulos de duques consortes de Santa Elena y marqueses de Viesca de la Sierra,