Parece ser que en el cerro de la Oliva donde alguna tribu celtíbera decidió levantar un castro bien defendido allá por el siglo IV a. C. Más tarde, durante la invasión musulmana, gentes procedentes de
Torrelaguna y
Uceda se refugiaron en las abundantes
cuevas del lugar. Pero hasta muy avanzado el siglo XVI no se tienen noticias ciertas de
Patones. Al parecer fueron siete vecinos de Uceda los primeros colonos, un grupo de apellido Patón, ganaderos, que vieron más práctico vivir junto a sus
ganados que hacerlo en la lejana villa.