El término de "Villarrubia" podría derivarse de "Villarroja". Así se indica en un documento de 1576 en el que se dice que "... créese que se llama Villarrubia porque mucha parte del
pueblo y tierra que confinan con él es colorada".
Estuvo poblada por íberos,
romanos y árabes, pero su importancia histórica la alcanzaría en la Edad Media. En el siglo XII existía el
castillo del Tormón que quedó abandonado durante el reinado de Alfonso VII, edificándose en su lugar una
iglesia donde la
tradición popular indica como lugar de aparición de la
Virgen del Castellar.
En 1645 se indica que el pueblo posee tierra fértil, abundancia de
ganados,
fruta y
caza, de donde se explica el desarrollo progresivo de la población.