Es el edificio más antiguo de la localidad, edificado en piedra caliza y rematado con friso de canecillos y ocho ménsulas que probablemente actuarían como soporte de antiguos garitones, hoy desaparecidos. Tiene 25 m de altura y planta rectangular de 16,5 x 10 m, redondeada en sus esquinas.
El edificio consta de sótano y tres plantas, a las que se accedía por la segunda, mediante una puerta elevada a 6 metros de altura, que se conserva en la fachada oeste.
No se conoce la fecha de construcción. Lo más probable es que se construyera al convertirse la aldea de Pinto en villa de señorío, que cede Pedro I el Cruel a Don Íñigo López de Orozco en 1359.
Durante los siglos XVI y XVII, el edificio fue utilizado como prisión de notables, entre los que destacan la princesa de Éboli y Antonio Pérez, acusados del asesinato del secretario de D. Juan de Austria.