Fue pues Álvaro de Mendoza y Soutomaior quién edifica el primer
palacio que ampliaría su hermano Rodrigo en 1566. Ya en el siglo XVII, Fernando de Andrade Soutomaior y Caamaño será el fundador de la
iglesia y
convento de las monjas Agustinas Recoletas que se comunicó con un gran
arco con el palacio de Vista Alegre. La construcción de la
casa señorial es renacentista, de buena sillería a base de granito y se caracteriza por su sencillez decorativa a base de medallones con bustos en su centro,
escudos y otros motivos sencillos.