Su origen está en el
pueblo de Las Asperillas. Ya en tiempos de Alfonso VIII, se habla de este asentamiento, como lugar de
caza de osos y lobos. En la época de Guerra de la Independencia con los franceses se fue despoblando el pueblo de las Asperillas y los habitantes fueron desplazandose hacia la
sierra, a los secaderos de
castañas. De ahí surge el nombre de
Casas del Castañar de Asperillas. El último habitante de las asperillas fue el cura, que se negaba a abandonar el pueblo original. Por lo que se cree en la
iglesia actual, se conservan de la iglesia del pueblo anterior la
pila bautismal y una
piedra en la que se habla de un terremoto del siglo XVIII.