Výzkumníci IBM pracují na transparentnosti a bezpečnosti umělé inteligence

Ve čtvrtek 29. dubna pořádala společnost IBM online seminář s názvem Zodpovědné využívání umělé inteligence, který vedla výzkumnice IBM na poli umělé inteligence (AI) Aleksandra (Saška) Mojsilović. Její prezentace byla zaměřená na potencionální slabiny AI, jako je náchylnost k zaujatosti, netransparentnost či zranitelnost vůči útokům. V debatě se doktorka Mojsilović také věnovala problematickým formám uplatnění AI v současnosti, jakými jsou deep fake videa či algoritmy sociálních sítí směrující uživatele do náručí dezinformací.

Doktorka Mojsilović proto zdůrazňovala nutnost mít při navrhování AI vedle výkonnostních parametrů na zřeteli také etické ohledy. V IBM Research se věnuje vývoji procesů a algoritmů pro definování a měření základních vlastností důvěryhodných AI systémů, tedy nástrojů k rozpoznání a překonání zaujatosti, identifikaci slabých míst v kódu, obraně proti hackerským útokům či rozkrytí rozhodovacích procesů algoritmu. S pokrokem na poli AI lidé a umělá inteligence stále větší měrou spolupracují, a je proto nezbytné moci důvěřovat výstupům této technologie.

Odborníci v IBM Research identifikovali několik hlavních charakteristik důvěryhodných AI systémů:

Férovost: AI systémy by se měly učit na datech a modelech oproštěných od zaujatosti a předsudků tak, aby například nezvýhodňovaly určité skupiny uživatelů
Robustnost: AI systémy musí být bezpečné a odolné vůči manipulaci s daty, na kterých jsou trénovány
Transparentnost: Vývojáři i uživatelé AI systémů by měli být schopni plně porozumět rozhodovacím procesům AI systémů a jejich výstupům
Původ: AI systémy by měly obsahovat detaily o jejich vývoji, využití a údržbě tak, aby mohly být kontrolovány během celého životního cyklu

Ovšem stejně jako fyzická budova, ani důvěra v AI nemůže stát na jediném pilíři. Pokud je systém AI prostý zaujatosti, ale nedokáže odolat útoku hackera, nelze se na něj spolehnout. A pokud je sice dobře zabezpečený, ale jeho výstupům nikdo nerozumí, také mu uživatelé nemohou zcela důvěřovat. Proto je nezbytně nutné posílit všechny výše vyjmenované pilíře společně a také definovat metriku pro vyhodnocování výkonu systému na každé z těchto úrovní. Odborníci IBM proto navrhují opatřit AI systémy „příbalovým letákem“ či shrnutím charakteristik systému včetně parametrů jeho fungování, vstupních dat, základního algoritmu, testování a jeho výsledků, výkonnostních ukazatelů či zajištění férovosti a robustnosti systému. A také jeho zamýšlené využití, údržbu a další rozvoj. Pro detailnější informace můžete navštívit stránku projektu AI FactSheet společnosti IBM.

Aleksandra Mojsilović je vedoucí základního výzkumu AI v rámci IBM Research a spoluředitelkou programu IBM Science for Social Good. Doktorka Mojsilović je postgraduální stipendistkou programů IBM Fellow a IEEE Fellow, autorkou více než 100 publikací a držitelkou 16 patentů. Mezi poslední projekty, na kterých se podílela, patří výzkum AI systému IBM Research publikovaný v březnu 2021, který využívá tuto technologii pro urychlení vývoje nových peptidů umožňujících překonat resistenci na antibiotika. Stejné metody lze také využít pro vývoj nových materiálů pro boj se změnou klimatu, pokročilejší výrobu a uchovávání energie či další uplatnění. S pomocí procesů založených na AI tým také vyvinul 3000 nových molekul pro boj s COVID-19.