Hasta ahora no se han hallado vestigios almorávides, si bien parece que fueron los almohades quienes hicieron obras de consolidación en las
murallas y en el
castillo. Besher fue conquistada por Castilla en 1250 pasando más tarde a formar parte de la segunda línea de frontera con el reino nazarí. Ibn Abí Zar´, en el siglo XIV, en su obra Rawd al-qirtás menciona brevemente Besher: “ llegaron al campamento situado en Jerez los meriníes y árabes que se habían quedado en Vejer, después de haber asolado en el tiempo que allí estuvieron todas las mieses de Vejer,
huertas, viñas y
árboles.”