Pasti používání více AI modelů: Firmy netuší, jak často selhávají

Nová studie odhaluje, že podniky, které kombinují více AI modelů v naději na větší spolehlivost, dramaticky podceňují jejich skutečné chybovost. Problém, kterému vědci říkají "co-failure ceiling", činí klasické předpoklady o bezpečnosti zcela mylnými.

Řada firem dnes vsází na strategii, která se zdá logická: nakombinovat AI modely se speciálními schopnostmi — jeden pro programování, jeden pro logické uvažování a jeden univerzální — a předpokládat, že se tak navzájem pokryjí své slabiny. Nová průlomová studie však ukazuje, že tento přístup je matematicky chybný a výsledky jsou vážnější, než si firmy myslí.

Výzkumný tým analyzoval 67 nejpokročilejších AI modelů od 21 různých poskytovatelů. Jejich závěr je alarmující: podniky nedoceňují selhávání svých AI systémů zhruba 2,25krát. Klasické předpoklady o spolehlivosti kombinovaných modelů selhávají — ne náhodně, ale systematicky a předvídatelně. Fenomén, který vědci pojmenovali „co-failure ceiling", odhaluje, že i když se dva modely na jednom promptu obvykle neseberou, kombinují se jejich chyby způsobem, který je mnohem horší, než by firmy měly důvod očekávat.

Jak problém vzniká? Samotná idea se zdá bezpečná: pokud první model selhá na určitém zadání a druhý model jej zvládne, výsledek je správný. Jenže realita je složitější. Modely selhávají ne zcela náhodně — jejich chyby souvisejí s určitými typy problémů nebo komunikačními vzory. Když jeden model selže právě v oblastech, kde selhává i druhý (byť třeba z jiného důvodu), magické sítě bezpečnosti se hroutí.

Studie rovněž odhalila, že dosavadní metody pro odhad bezpečnosti a spolehlivosti kombinovaných AI systémů jsou fundamentálně neadekvátní. Firmy se příliš spoléhají na teoretické modely, které předpokládají nezávislost chyb mezi jednotlivými AI modely. V praxi ale modely trpí podobnými slepými místy — mají problémy se stejnými typy logiky, stejnými jazykovými konstrukcemi nebo stejnými doménami znalostí.

Pro firmy pracující s více AI modely to znamená prudký problém. Nejčastěji používaná metrika jejich bezpečnosti — počet selhání jednotlivých modelů — jednoduše není dostatečná. Zásadní je nyní pochopit co-failure ceiling, to znamená limit, kde další přidávání modelů vrátit přispívá k bezpečnosti tak, jak se očekávalo. Bez hlubšího porozumění těmto systémovým chybám budou podniky nadále těmito neviditelným zálomům podceňovat rizika.

Zjištění mají dalekosáhlé dopady pro všechny, kdo plánují nasazovat AI v kritických aplikacích — od zdravotnictví po finance či autonomní systémy. Před dalším rozšířením jejich používání je nutné přehodnotit současné přístupy k zabezpečování a testování.

Zdroj: VentureBeat

Rubrika: AI & Technologie