Muž zneužil umělou inteligenci Grok k vytvoření tisíců pedofilních obrázků své pastorky

Nový právní spor údajně odhaluje zneužívání AI nástroje Grok společnosti X k vytváření sexuálního obsahu s dětmi. Platforma je v kasaci obviňována z ignorování problému pedofilských materiálů na svých serverech.

Vážný právní případ upozorňuje na rostoucí problém zneužívání umělé inteligence ke generování dětského sexuálního materiálu. Podle nové žaloby muž využíval AI model Grok, který je součástí sociální sítě X, k vytvoření více než sedmi tisíc fotografií s pedofilským obsahem jeho vlastní pastorky. Případ směřuje přímou kritiku vůči platformě, která je obviňována z nedostatečné ochrany dětí a selhání v boji proti šíření nezákonného obsahu.

Incident skončil tragicky, když se podezřelý osoba pokusila ukončit svůj život. Tento případ není izolovanou anomálií – naprostou dobu přicházejí nové žaloby od dalších dívek a jejich rodin, které tvrdí, že Grok byl systematicky zneužíván pro tvorbu Similar obsahu. Stížnosti směřují vůči společnosti X za údajné selhání v oblasti moderování a ochrany uživatelů.

Právní spory vyvolávají globální debatu o odpovědnosti velkých technologických společností za obsah generovaný jejich AI nástroji. Na rozdíl od tradičních obsahů, které lze identifikovat a odstranit, syntetické pedofilské materiály vytváří nové právní a etické otázky – jak monitorovat generovaný obsah v reálném čase, kdo nese odpovědnost za jeho vytvoření a jakými sankcemi by měly být tvůrci postiženi.

Bezpečnostní experti a aktivistka proti zneužívání dětí dlouhodobě upozorňují na rizika, která AI technologie představuje pro ohrožené skupiny. Grok byl původně propagován jako volnější alternativa k jiným AI modelům s méně restriktivními filty, což zřejmě přispělo k jeho zneužívání. Zatímco společnost X nástroj postupně vylepšuje, případy jako je tento poukazují na to, že ochranné mechanismy zůstávají nedostatečné.

Právníci rodin dcer označují chování platformy za selhání v základní povinnosti ochrany dětí. Žaloby požadují nejen finanční kompenzaci, ale také zásadnější změny v přístupu X k moderování AI obsahu a uplatňování bezpečnostních standardů. Případ bude tedy brán jako zásadní test právní odpovědnosti technologických firem za zneužívání jejich AI nástrojů.

Incident upozorňuje na urgentní nutnost robustnějších bezpečnostních opatření ve vývojářských týmech velkých tech společností. Otázka, jak regulovat AI generované pedofilské materiály bez omezování legitimních použití umělé inteligence, zůstává jednou z nejzávažnějších výzev pro průmysl i zákonodárce v příštích měsících.

Zdroj: Ars Technica

Rubrika: AI & Technologie