Es una valiosa muestra de la arquitectura civil del siglo XVI, de estilo renacentista. Su construcción se inició con planos de Alonso de Covarrubias, hacia 1545, por encargo de Doña Ana de Mendoza y de la Cerda, princesa de Éboli. Es un edificio de planta cuadrada, con torres esquinales y patio central, con escasos vanos y portada plateresca, flanqueada por columnas corintias y rematada con el escudo de los propietarios.
En la torre de levante, conocida como la Cámara de la Reja Dorada, estuvo retenida la princesa de Éboli entre 1581 y 1592, por orden de Felipe II, desde donde sólo se podía asomar una hora.