Capella i part de la casa dels Ivars, ELS IVARSOS