AI agenti jsou si moc jistí svými rozhodnutími. A to je velký problém

Zatímco se AI agenti učí stále více informacím, vůbec neřeší zásadnější otázku: jak poznat, že se naučili něco špatně? Tato slepá skvrna představuje jednu z největších hrozeb jejich praktického nasazení.

V éře rychlého rozvoje umělé inteligence se odborníci a vývojáři soustředí především na zvyšování kapacity AI agentů – kolik dat si dokážou zapamatovat, jak rychle se učí, jak efektivně fungují na různých úkolech. Jenže v tomto sedu se přehlíží něco zásadního: jak si agent ověří, že poznatek, který si osvojil, je ve skutečnosti správný?

Sebevědomost bez vědomí vlastní chyb

Typický AI agent funguje tak, že si statisticky identifikuje vzory v datech a na jejich základě dělá předpovědi či rozhodování. Problém je, že systém nemá vnitřní mechanismus, který by mu signalizoval: „Pozor, právě si myslíš, že znáš odpověď, ale říkám ti, že si to nejsi jistý." Agent si tedy ve svém kódu prosadí řešení, které se mu zdá perfektně logické, protože to odpovídá vzorům, které se naučil. Přitom má nulový vědomý přístup k tomu, co neví či si pamatuje špatně.

Pokud se agent ve své trénovací fázi setkal s dostatem podobných příkladů, vytvoří si hluboko zakódovanou představu o tom, jak věci fungují – a pak ji bude aplikovat s absolutní jistotou. Když později narazí na výjimku nebo situaci, kterou v tréninku viděl jen okrajově, aplikuje naučené vzory mechanicky. Nejen, že chybu udělá, ale zcela přirozeně si bude věřit, jako by byla správná.

Skála není to samé co kvalita

Věnovat se tomu, co agent ví, je v krátkodobém měřítku jednodušší než řešit otázku jeho nejistoty. Můžete říci: „Agent se naučil zpracovávat miliony textu" nebo „Zvládá tisíc operací za vteřinu." Tato čísla zaznívají lépe v tiskových zprávách než tvrzení: „Agent si uvědomuje hranice vlastního chápání a komunikuje je uživateli." A přesto je právě toto druhé to, co určuje, zda se dá na agenta opravdu spolehnout v praxi.

Představte si lékařský asistent na bázi AI, který vám navrhuje diagnózu. Bez interního mechanismu, který by měřil jeho vlastní nejistotu, bude vaši dotaz řešit stejně sebevědomě bez ohledu na to, zda jsem stoprocentně přesvědčen, nebo jen s dvacet procenty jistoty. Pacient či lékař podle toho nemůže správně kalkulovat riziko.

Cesta k spolehlivějším agentům

Řešení se tedy vynořují právě zde: v samouvědomění agentů. Vývojáři by měli budovat systémy, které aktivně měří vlastní nejistotu, testují se proti nečekaným situacím a jsou schopny říci: „Tím si nejsem jistý, ověřím si to." Jde o posun paradigmatu od otázky „Jak moc informací si agent zapamatuje?" na otázku „Jak agent pozná, když si není jistý, a jak to signalizuje?"

Je to jako rozdíl mezi studentem, který řekne „Vím všechno" bez sebemenší pochybnosti, a studentem, který ví, kde je hranice jeho znalostí a ochotně si ji přizná. V reálném světě bychom ten druhý student důvěřovali mnohem více – a to samé by mělo platit i pro AI agenty, kteří budou rozhodovat o důležitých věcech v našem životě.

Zdroj: Forbes Innovation

Rubrika: Business