En 1794 Carlos IV concedió al entonces alcaide Lorenzo Fernández de Villavicencio el título de duque de
San Lorenzo de Valhermoso. Fue esta la época de mayor esplendor del
palacio, cuando incluso se representaban óperas italianas en los
jardines y lo más granado de la nobleza local acudía a
fiestas de ensueño. Pero poco a poco la
familia Fernández de Villavicencio fue decayendo, y con ella la magnificencia de su palacio, hasta que a comienzos del siglo XX los duques decidieron abandonarlo, vendiéndoselo a Salvador Díez. Este industrial bodeguero realizó una serie de reformas para adaptar el palacio a un nuevo uso, el de
hotel, pero el proyecto nunca llegó a buen fin y a la muerte de don Salvador el
edificio quedó cerrado. Fueron largos años de abandono que se llevaron por delante todo vestigio de grandeza del que apenas ha llegado hasta nosotros algún eco.