La población crece al amparo de esta bonanza económica adquiriendo cerca de 8000 habitantes. El patrimonio frexnense continuaba en aumento, de la mano de las importantes
familias que iban asentándose en la ciudad. El caso de mayor importancia es el de Alonso de Paz, noble mercader que invierte su fortuna en la fundación del
Convento y
Colegio de la Compañía de Jesús, para estudios de gramática, filosofía y teología; así como del Convento de Nuestra Señora de la Paz, que desde su fundación en 1606 está ocupado por las Madres Agustinas. Sin embargo, la crisis que recorre toda la Península no será ajena a Fregenal, y durante todo el siglo xvi numerosos conflictos originan que cerca de 500 frexnenses se vean obligados a abandonar el lugar, buscando una vida mejor a lo largo del Imperio.