Společnosti zápasí s kontrolou AI výdajů: Jak zabránit zbytečným tokenům

Éra neomezené spotřeby AI služeb rychle skončila. Firmy nyní zavádějí přísné limity na používání umělé inteligence, aby zabránily marnotratě rozpočtů na zdánlivě nevinné úkoly zaměstnanců.

Před několika měsíci byla situace zcela jiná. Jakmile si firmy předplatily služby generativní AI, zaměstnanci se pouštěli do experimentů bez zábran. Psali si prompt na každou maličkost, testovali možnosti ChatGPT, Claudea či dalších modelů bez jakýchkoli omezení. Teď je však situace výrazně jiná – společnosti začínají panikařit.

Objevila se nová realita: token rationing. Firmy si totiž začíná docházet, jak moc peněz vlastně jejich zaměstnanci na umělé inteligenci utratili. Běžné pozadí? Každý uživatel dostane měsíční limit tokenů – virtuálních jednotek, které představují množství zpracovaného textu. Překročíte-li limit, služba vám skončí. Není to klasické "pokuty" v podobě vyšších účtů, ale přímé zastavení přístupu. Je to efektivní, ale také frustrující.

Velkým problémem se ukázaly být malé, zdánlivě nevinné úkoly. Zaměstnanec si nechá AI přepsat email, pak formulit mejl kolegovi, pak ji požádá o nápad na název schůzky. Každý jednotlivý prompt se zdá bezvýznamný, ale jejich součet se počítá v desítkách tisíc tokenů měsíčně. Když se to vynásobí počtem zaměstnanců v Magnitu, Microsoftu nebo další velké korporaci, výsledek je děsivý – účty za miliony korun.

Jak tedy společnosti reagují? Zavádějí přísné metriky a kontrolní mechanismy. Zaměstnancům se začínají přidělit konkrétní limity, někdy se zavádí tzv. "approval workflow", kdy vedoucí musí schválit použití AI služeb. Některé firmy jdou ještě dál a edukují své týmy, jak s AI efektivně pracovat – nejde o to používat ji na všechno, ale strategicky tam, kde to má skutečný přínos.

Podle průzkumů některých HR odborníků se české firmy teprve začínají s tímto problémem potýkat. Zatímco zahraniční giganty trápí miliony ušetřené, u nás je zatím AI přístup spíš experimentální. Nicméně lze očekávat, že jakmile budou větší čeští podnikatelé více integrovat AI do svých procesů, budou čelit stejným výzvám jako jejich kolegové na Západě.

Ekonomické reality generativní AI se tak začínají ukazovat v novém světle. Nejde jen o to, že technologie jsou výkonné a užitečné – jde také o jejich udržitelnost. Bez rozumného řízení a limitů se z užitečného nástroje stane nákladová položka, která spirálovitě roste. Firmy tedy musí najít zlatou střední cestu: ponechat zaměstnancům prostor pro experimenty a inovaci, ale zároveň je naučit odpovědně s technologií zacházet.

Rubrika: AI & Technologie