Hasta principios del siglo XVII la población estuvo situada en la partida de los Villares, llamándose
Torre de Orchet. El actual asentamiento, fue fundado tras la expulsión de los moriscos de
España (1609-1614). En 1995, el
barrio de Los
Pajares que pertenecía a
Castielfabib pasó a ser parte del núcleo urbano de
Torrebaja.