Fue construido entre los siglos XV, cuando tuvo la función de castillo señorial, y en el XVI cuando se transformó en una fortaleza artillera.
El conjunto se inició entre los años 1460 y 1480 por encargo de D. Luis Tovar y doña María de Guzmán, que ordenaron levantar el castillo señorial, para servir de fortaleza defensiva y residencia familiar, sobre un castillo anterior situado en lo alto del cerro, donde se localizaba la primitiva villa de Berlanga protegida por la muralla situada a los pies del cerro.