Su construcción se inicia en 1529, durante el reinado de Carlos I, y finaliza en 1735, bajo el reinado de Felipe V. Se construye sobre parte de la antigua fortaleza árabe, todavía queda en él un lienzo de la antigua fortaleza. Para su construcción se utilizó piedra de Cabeza del Griego (Segóbriga), sobre todo en la fachada oriental.

Durante la Guerra Civil Española fue hospital republicano y después convertido en cárcel, donde recientemente se exhumaron las fosas que contenían a más de 300 personas.