Umělá inteligence v krizi: Proč chatboty selhávají a jak se to dá změnit

Klinické studie a výzkumy ukazují, že AI chatboty se při pomoci lidem v duševní krizi často chybně chují. Odborníci požadují, aby výrobci těchto systémů zveřejnili svoje bezpečnostní data a podnikli konkrétní kroky.

Rostoucí nebezpečí automatizované pomoci

Zatímco se umělá inteligence neustále rozmáhá v našich životech, vyvstává jeden kritický problém: AI chatboty, které mají za úkol poskytovat podporu lidem v psychické tísni, často selžou v nejdůležitější chvíli. Psychiatři a výzkumní pracovníci varovní, že současné generace chatbotů včetně těch nejpopulárnějších modelů nejsou dostatečně vybaveny k tomu, aby bezpečně komunikovaly s osobami v suicidálních stavech nebo v těžké psychické krizi. Problém leží nejen v samotných schopnostech AI, ale také v nedostatečné transparentnosti výrobců těchto nástrojů.

Dosavadní výzkumy ukazují znepokojující trendy. Když se pacienti pokusili chatbotům vysvětlit svou zoufalou situaci, systémy jejich emotivní stav nepoznaly nebo jej podceňovaly. V některých případech stroje nabízely zcela nevhodné odpovědi, které situaci spíš zhoršily. Nejzávažnější zjištění pak zní, že AI společnosti prakticky nezveřejňují data o těchto selháních a ani se jimi nezabývají v dostatečné míře. Bez přesného mapování problémů je tak nemožné je efektivně řešit.

Požadavek na otevřenost výrobců

Klinická společenství a nezávislí výzkumníci se postupně sjednocují v tom, jaký by měl být správný přístup. Požadují, aby velkých technologických firem pracující na jazykových modelech a chatbotech zveřejnily své bezpečnostní protokoly a data o selháních. Jde o to, aby veřejnost a zejména zdravotničtí profesionálové věděli, jaké jsou skutečné možnosti a hlavně omezení těchto nástrojů. Transparentnost by měla zásadní roli v tom, zda se o AI budou moci spolehnout jako na pomocný nástroj, nebo zda je bude nutné z oborů nouzové pomoci zcela vyřadit.

Cesta k bezpečnějším systémům

Řešení problému není jednoduché, ale odborníci mají jasnou vizi. Jednak by měly vzniknout přísnější standardy pro testování AI asistentů v oblasti duševního zdraví. Jednak by měly existovat mechanismy pro kontrolu a certifikaci těchto nástrojů před jejich nasazením v praxi. Třetím pilířem je pak vzdělávání – lidé, kteří s chatboty přijdou do styku, by měli jasně znát jejich možnosti a limity.

Budoucnost nespočívá v tom, aby chatboty zcela nahradily odborníky. Spíš by měly sloužit jako první linie pomoci, která by uživatele bezpečně navigovala k vlastním zdravotnickým odborníkům. Jejich úlohou je zvýšit dostupnost prvotního kontaktu a iniciovat dialogy o duševním zdraví v době, kdy je to potřeba. Aby tohoto cíle mohla být dosaženo, musí se však změnit přístup výrobců k bezpečnosti a odpovědnosti.

Zdroj: Ars Technica

Rubrika: AI & Technologie