Transformery už nestačí: Co přichází po velkých jazykových modelech?

Devět let poté, co představili vědci z Googlu revolucionární transformery, se stávají limitujícím faktorem AI vývoje. Špičkové startupy nyní intenzivně pracují na tom, aby překonaly hranice současné generace velkých jazykových modelů a našly cestu k další technologické revoluci.

Transformery se staly nepostradatelným stavebním kamenem moderní umělé inteligence. Architektura, kterou představili výzkumníci Googlu před devíti lety, dnes pohání všechny významné jazykové modely – od ChatGPT přes Gemini až po Claude. Jejich vliv na vývoj AI je nesporný, přesto se v technologické komunitě čím dál více ozývají hlasy, které poukazují na jejich fundamentální omezení.

Hranice transformerů se začínají rýsovat

Přestože transformery umožnily exponenciální nárůst schopností AI systémů, dosahují postupně svých limitů. Výzkumníci a předsedové technologických startupů si začínají uvědomovat, že pouhé zvětšování modelů již nepřináší proporcionální zlepšení výkonu. Rostoucí nároky na výpočetní sílu, energetickou spotřebu a údaje potřebné pro trénování se stávají stále obtížněji překonatelnou bariérou. Řada špičkových firem proto přechází do fáze, kdy spíše než zdokonalování stávajících přístupů hledá zcela nové cesty k pokroku v AI.

Akademická sféra mění směr výzkumu

Zajímavým pozorováním je také posun v tom, kam se soustředí pozornost akademických výzkumníků. Tradiční obsession s co největšími modely a co nejvyššími benchmark výsledky se postupně vytratil. Místo toho se univerzitní týmy zaměřují na efektivitu, interpretovatelnost AI systémů a zcela nové paradigmaty, které by mohly překonat současné omezení. Tato změna signalizuje, že vědecká komunita považuje současné přístupy za slepou větev a aktivně hledá nové cesty vpřed.

Co čeká na horizontu?

Mezi potenciální směry budoucího vývoje patří více specialisovaní a efektivnější modely, lepší integrace známostí, nebo úplně nový přístup k architektuře neuronových sítí. Některé týmy experimentují s hybridními systémy, které kombinují transformery s tradičními metodami symbolické AI. Jiné pracují na modelech, které by byly schopné efektivnějšího učení a adaptace bez nutnosti obřího množství trénovacích dat. Právě v těchto oblastech vidí průkopníci AI průmyslu největší potenciál pro příští skok vpřed.

Zajímavé je, že přestože se zdá, že věda potřebuje se transformery rozloučit nebo je radikálně přepracovat, nejde o jejich úplné opuštění. Spíše jde o hledání komplementárních technologií a nových přístupů, které by mohly coexistovat a vzájemně se doplňovat. Právě v tomto období uncertainty a experimentování se zrodí další generace AI technologií, která posune hranice možného ještě dál.

Zdroj: MIT Technology Review

Rubrika: AI & Technologie