Vícekrokové útoky na AI olamují 88 % modelů. Jednoduché testy je neprozradí, varuje Cisco

Výzkum společnosti Cisco odhalil alarmující bezpečnostní mezeru: když útočníci zaměřili své strategie postupně během konverzace, úspěšně prolomili ochodu umělé inteligence až v 88 procentech případů. Tradiční jednoduché testy tuto hrozbu zcela minuly.

Přísnější bezpečnostní testování AI modelů se stává čím dál urgentněji. Jak upozornila Amy Changová, vedoucí oddělení pro analýzu bezpečnostních hrozeb v oblasti umělé inteligence v Cisco, během panelové diskuse zaměřené na agenční bezpečnost na konferenci VB Transform 2026, tradiční přístupy k testování bezpečnosti si povedou horší, než jsme si dosud mysleli.

Cisco realizoval ambiciózní výzkum, v němž vyprodukoval přes 6 900 vícekrokových útoků cílených na 15 nejrozšířenějších AI modelů. Výsledky byly znepokojivé: útočníci, kteří byli schopni dynamicky přizpůsobovat svou strategii průběhem konverzace, dosáhli úspěšného prolomení ochrany až v 88,3 procenta případů. Oproti tomu byly klasické jednoduché testy – tzv. single-turn red-teaming – zcela neúčinné při identifikaci těchto sofistikovaných hrozeb.

Rozdíl mezi jednoduchými a komplexními testy je zásadní. Jednoduché jednosmyslové testování předpokládá, že útočník má jen jednu příležitost k útoku. V praxi však chatboti a AI asistenti vedou delší rozhovory, během nichž se mohou hladké manipulační techniky vyvinout a pokročit. Útočník si postupně buduje kontext, sbírá informace a upřesňuje svůj přístup na základě odpovědí AI. V takto dlouhém dialogu mohou být modely mnohem zranitelnější.

Závěry výzkumu Cisco nabraly na důležitosti také díky průzkumu, který realizoval VentureBeat v červnu 2026. Mezi 107 respondenty z podniků bylo patrné rostoucí obavy z bezpečnosti AI systémů. Diskuse na VB Transform 2026 toto téma přinesla do centra pozornosti – bez adekvátního testování vícekrokových scénářů budou podniky posílat své nejcitlivější informace potenciálně zranitelným systémům.

Výsledky staví před IT bezpečnostní týmy zcela nový úkol. Testování umělé inteligence se bude muset fundamentálně změnit. Namísto pouhých izolovaných pokusů bude nezbytné simulovat realistické dlouhodobé scénáře, v nichž se útočník může přizpůsobovat a vyvíjet svou strategii. Mnoho podniků stále spoléhá na zastaralé testovací protokoly, které tuto hrozbu neberou vůbec v potaz.

Pro bezpečnostní specialisty je to vybídnutí k akci. Již není možné podceňovat sofistikovanost moderních útoků. Budoucnost bezpečnosti AI bude záviset na tom, jak rychle se podnikům podaří migrovat na pokročilejší testovací metodiky, které zohledňují vícekrokové, adaptivní scénáře reálného světa.

Zdroj: VentureBeat

Rubrika: AI & Technologie