Změna jazyka v AI promptech: Nový trik hackerů, který obchází bezpečnostní systémy

Bezpečnostní výzkumníci odhalili zajímavou zranitelnost umělé inteligence: změnou jazyka v promptech lze obejít bezpečnostní mechanismy velkých AI modelů. Tvůrci AI systémů nyní řeší, jak účinně bránit tomuto novému druhu útoku.

Jednoduchou změnou jazyka lze obejít bezpečnostní prvky moderních AI systémů. Výzkumníci z oblasti kybernetické bezpečnosti nedávno demonstrovali, že hackeři mohou instruovat umělou inteligenci v méně používaných jazycích, aby se vyhnuli filtrům navrhnutým tak, aby bránily potenciálně škodlivým pokynům. Tato zranitelnost představuje vážný problém pro společnosti jako OpenAI, Google nebo Anthropic, které investují miliony do zabezpečení svých AI modelů.

Princip útoku je překvapivě jednoduchý. Bezpečnostní týmy AI tvůrců tráví značný čas tréninkem modelů tak, aby odmítaly nebezpečné požadavky v angličtině a dalších rozšířených jazycích. Když ale hackeři napíšou stejný pokyn třeba v mandarin čínštině, irlandštině nebo některém jiném méně běžném jazyce, AI model jej často bez problémů zpracuje. Důvodem je, že tréninkové sady bezpečnostních filtrů obsahují méně příkladů v těchto jazycích, a model tak nemá dostatečné znalosti k jejich identifikaci jako potenciálně škodlivých.

Volba jazyka je strategickým vybírání záněl na otevřená vrátka. Zatímco filtrování v angličtině dosáhlo vysoké úrovně sofistikovanosti, menšinové jazyky zůstávají relativně nezachráněné. Útočníci tak mohou žádat AI, aby psala kódy pro malware, vytvářela pokyny na výrobu nebezpečných látek nebo generovala obsah, který by ve standardních jazycích byla zcela blokována. Pro tvůrce AI to znamená nový druh výzvy – jak zabezpečit modely pro desítky jazyků, když ani nemají vždy k dispozici dostatek kvalitních trénovacích dat v méně rozšířených idiomech.

Technologické firmy již reagují na tuto hrozbu. Některé přicházejí s pokročilejšími approach – místo filtrování jednotlivých jazyků se zaměřují na detekci samotného chování či typu požadavku, nezávisle na jazyce. Jiné investují do hlubšího porozumění vícejazyčným modelům a jejich zranitelnostem. Problém je však v tom, že bezpečnost se musí neustále vyvíjet spolu s technikami hackerů.

Tato situace vypichuje širší problém v AI bezpečnosti: Model není silný jen proto, že funguje správně v jednom jazyce. Globální charakter internetu znamená, že AI musí být odolná vůči zneužití v jakémkoli jazyce, kterému rozumí. To není jen technická výzva, ale také ekonomická – zajišťování kvalitních bezpečnostních dat pro všechny jazyky světa je nákladné a časově náročné. Přesto je to pro budoucnost odpovědného AI vývoje nezbytné.

Závěrem lze říci, že objevení tohoto vektoru útoku je paradoxně pozitivní zprávou. Bezpečnostní badatelé problém identifikovali a veřejně o něm informují, což dává vývojářům čas a podněty k nápravě. Avšak tento případ ukazuje, že v oblasti AI bezpečnosti není nikdy skončeno – každý nový objev je zároveň připomenutím, jak komplexní a propletitou oblastí umělá inteligence je.

Zdroj: Forbes Innovation

Rubrika: Business