CONVEY

Agenti umělé inteligence (AI) jsou stále rozšířenější - od samořídících automobilů až po agenty doporučující lékařskou péči. Tito agenti mají potenciál být přínosem pro společnost v oblastech, jako je doprava, zdravotní péče a vzdělávání. Důležité je, že nefungují ve vzduchoprázdnu - lidé s agenty komunikují v široké škále prostředí. Aby lidé mohli s agenty efektivně komunikovat, musí být schopni předvídat jejich chování a rozumět mu. Například řidič autonomního vozidla bude muset předvídat situace, ve kterých vůz selže, a předat řízení, zatímco lékař bude muset porozumět léčebnému režimu doporučenému agentem, aby zjistil, zda je v souladu s preferencemi pacienta.
 
Vysvětlující metody umělé inteligence mají za cíl podpořit uživatele tím, že zprůhlední chování systémů umělé inteligence. Současný stav v oblasti vysvětlitelné AI však v několika klíčových aspektech chybí. Za prvé, většina stávajících metod se zaměřuje na poskytování „lokálních“ vysvětlení jednorázových rozhodnutí modelů strojového učení. Nejsou vhodné pro zprostředkování chování agentů, kteří jednají po delší časové období ve velkých stavových prostorech. Za druhé, většina stávajících metod nezohledňuje kontext, v němž jsou vysvětlení nasazována, včetně specifických potřeb a charakteristik uživatelů. A konečně, většina metod není interaktivní, což omezuje možnost uživatelů agentům důkladně porozumět.
 
Zastřešujícím cílem tohoto návrhu je vyvinout adaptivní a interaktivní metody pro zprostředkování chování agentů a multiagentních týmů pracujících v prostředí sekvenčního rozhodování. Při řešení této výzvy bude navrhovaný výzkum vycházet z poznatků a metodik umělé inteligence a interakce člověka s počítačem. Bude vyvíjet algoritmy, které určí, jaké informace o chování agentů mají být sdíleny s uživateli, přizpůsobené potřebám a charakteristikám uživatelů, a rozhraní, která uživatelům umožní proaktivně zkoumat schopnosti agentů.