El actual castillo se asienta sobre lienzos de muralla del siglo XII, probablemente de origen árabe, construyéndose en los siglos XIII, XIV y XV, con importantes obras realizadas por Enrique IV y los Reyes Católicos en el siglo XV. El actual castillo fue construido en 1440, según orden del rey Juan II de Castilla, por la familia Fonseca sobre los restos de una fortaleza musulmana. Fue diseñado por Fernando Carreño y Alonso Niño, y construido por dos artistas árabes, Abdala y Alí de Lerma. En época de los Reyes Católicos, fue fortalecido y se convirtió en el mejor castillo europeo en la modalidad de transición.