Durante todos estos años, también el
Castillo de la Concepción ha ido evolucionando. Los primeros datos de su existencia se remontan a época hispano-musulmana, aunque el castillo como lo conocemos hoy fue construido durante el reinado de Enrique III (siglo XIV) y para ello se aprovecharon restos de construcciones
romanas, como pilastras,
columnas y lápidas, así como algunas inscripciones. Posteriormente, este recinto ha servido como presidio, almacén de pólvora y
alojamiento de carabineros, habiéndose recuperado recientemente.