Pasó a la influencia de la
familia de la
Casa de Medinaceli en 1438, año en el cual Fernando Álvarez de
Toledo intercambiaría la villa a cambio de Garganta la Olla, Pasarón y Torremenga y 140.000 maravedíes. Sería durante este período, mediados del siglo XV, durante el cual se empezó a construir el
palacio ducal. En 1557 Juan de la Cerda y Silva, IV duque de Medinaceli, construyó el
monasterio de
San Antonio, un
convento de frailes franciscanos, proceso que se prolongaría al menos hasta 1581.