Su construcción se inicia en 1529, durante el reinado de Carlos I, y finaliza en 1735, bajo el reinado de Felipe V. Se construye sobre parte de la antigua fortaleza árabe, todavía queda en él un lienzo de la antigua fortaleza. Para su construcción se utilizó
piedra de Cabeza del Griego (Segóbriga), sobre todo en la
fachada oriental.
Durante la Guerra Civil Española fue
hospital republicano y después convertido en cárcel, donde recientemente se exhumaron las fosas que contenían a más de 300 personas.