Populární platforma Hugging Face čelí problému s pornografickými deepfakes

Vědci odhalili, že softwary pro editaci obrázků na platformě Hugging Face lze snadno zneužít k vytváření explicitního obsahu. Analýza tisíce příkazů ukazuje, jak lidé tyto nástroje reálně používají.

Otevřená komunita Hugging Face, která je jednou z největších platforem pro sdílení modelů umělé inteligence, se ocitla pod drobnohledem kvůli zbytečně snadné možnosti generování pornografických deepfakes. Nezávislí výzkumníci si vzali za cíl otestovat dostupné modely pro editaci obrázků a jejich závěry jsou znepokojující: Vytváření explicitního obsahu pomocí těchto nástrojů je překvapivě jednoduché a bez účinných bariér.

Výzkumný tým se zaměřil na analýzu chování uživatelů platformy. Prostřednictvím sledování a sběru dat z veřejného prostředí se jim podařilo analyzovat přibližně tisíc příkazů, které lidé zadávali do modelů zaměřených na generování a úpravu obrázků. Výsledky obnažily temnou stranu této technologie – значительná část požadavků byla přímo zaměřena na vytváření nežádoucího pornografického obsahu, často cílícího na konkrétní osoby bez jejich souhlasu.

Hugging Face vznikla jako otevřená a demokratická platforma, která měla urychlit vývoj umělé inteligence tím, že by vývojářům umožnila jednoduše sdílet své modely a projekty. V ideálním světě by takové sdílení znalostí vedlo k inovacím a pokroku. V praxi však vláda nad obsahem a bezpečnostními mechanismy zůstává minimální, a to právě umožňuje a usnadňuje zneužívání těchto technologií.

Problém s pornografickými deepfakes není nový, ale jeho dostupnost a snadnost vytváření představují nový kvalitativní skok v pojetí rizika. Na rozdíl od starších technologií, které vyžadovaly pokročilé technické dovednosti, dnešní modely na Hugging Face mohou využívat i uživatelé s minimálními znalostmi programování. Stačí zadat textový příkaz a algoritmus vykoná zbytek práce.

Zatímco mnohé z velkých technologických firem včetně OpenAI či Stability AI vložily do svých platforem bezpečnostní opatření a kontroly proti zneužívání, Hugging Face zůstává v tomto ohledu permisivnější. Komunita sice disponuje mechanismy hlášení, ale jejich efektivita a rychlost zpracování zůstávají diskutabilní. Otázka zní: Jak dlouho bude platforma pokračovat v tomto přístupu, než se rozhodne pro přísnější regulaci?

Tento případ upozorňuje na obecnější problém ekosystému otevřené AI. Síla komunity a svoboda sdílení inovací jsou bezesporu cenné, ale bez odpovídajícího etického rámce a bezpečnostních pravidel se mohou stát nástrojem k páchání újmy. Hugging Face nyní čelí tlaku, aby reagovala na zjištěné zneužívání a implementovala účinnější ochranu. Jestliže se tak nestane, otevřená AI komunita riskuje, že celá oblast bude pod zvýšeným tlakem regulačních orgánů a veřejnosti.

Zdroj: Wired

Rubrika: AI & Technologie