Los primeros datos de su población corresponden al Paleolítico Inferior y Neolítico. De ello dan fe los restos hallados, sobre los que se colocan las pinturas rupestres que, al ser éste un lugar de
grutas naturales, proliferan por toda la zona; así se manifiesta en las
cuevas de Abejera, El Cancho y Los Tajos.
Se cree que los íberos construyeron la
Torre Lascutana en Alcalá de los Gazules, cercana a Castellar. Durante la colonización
romana, junto a dicha torre, que defendía la calzada romana que iba desde Carteia hasta Corduba, se creó un pequeño asentamiento del que se conservan restos de viviendas.
Enclave fronterizo desde el siglo XII, es en el XV cuando su término se convierte en escenario de las guerras entre castellanos y musulmanes. En el año 1434, D. Juan de Saavedra, alcalde de la vecina Jimena, toma la fortaleza a los granadinos con ayuda de las milicias de Jerez. Desde la Reconquista fue villa y señorío. Las construcciones fortificadas, necesarias durante la guerra de Al-Ándalus, perdieron su función
militar y quedaron como villas nobiliarias. El propietario de todas aquellas extensiones, Juan Arias de Saavedra, recibió del emperador Carlos I el título de Conde de Castellar en 1539. Los siglos siguientes en este municipio fueron un
reflejo de la
historia nacional hasta nuestros días. La formación del
pueblo nuevo es más reciente, siendo en el año 1971 cuando los habitantes del viejo se trasladaron a éste, a instancias del Instituto Nacional de Colonización que lo edificó. Castellar Viejo está declarado
monumento de interés turístico.
En 1980, gracias a la intervención Felipe González Márquez, posteriormente Presidente del Gobierno de
España, se concedió definitivamente al
ayuntamiento la potestad de gestionar y explotar económicamente las tierras de La Boyal, una
finca de 526 hectáreas que había sido objeto de litigio entre los Condes de Castellar y los vecinos del municipio durante siglos. En 1981 se hizo a Felipe González, hijo adoptivo de Castellar por el papel que desempeñó en la recuperación de La Boyal