Nvidia představila router, který inteligentně směruje AI úlohy: výrazně snižuje náklady

Nvidia přichází s novým řešením pro podniky provozující AI agenty. Nový router automaticky přesměrovává různě náročné úlohy na vhodné modely, čímž dokáže snížit náklady na třetinu bez ztráty kvality.

Podniky, které kontinuálně provozují AI agenty, se běžně setkávají s nepříjemným dilemmatem. Pokud posílají všechny úkoly na nejmodernější modely, náklady na jejich provozování rychle stoupají astronomicky. Pokud si naopak postaví vlastní systém pro inteligentní směrování - tedy aby jednodušší úlohy jely na levnějších modelech - čeká je dlouhodobá údržba a neustálé úpravy při jakékoliv změně pracovního postupu.

Nvidia se rozhodla tento problém vyřešit komplexně. Technologická společnost představila nový přístup, který řeší obě stránky problému najednou. Jde o Nemotron 3.5 Lightning, otevřený model typu mixture-of-experts (směs odborníků) s 30 miliardami parametrů. Tento model je speciálně navržen pro dynamické směrování úloh mezi různými AI modely během jejich provádění.

Klíčová inovace spočívá v tzv. Switchyard routeru, který během běhu úlohy evaluuje její složitost a automaticky ji přesměrovává na nejoptimálnější model. Jednoduchý dotaz jde na levný, ale rychlý model, zatímco komplexní problém putuje na výkonnější řešení. Tím se elegantně řeší problém volby mezi kvalitou a cenou, který podnikům donedávna nezbýval.

Podle vlastních testů společnosti Nvidia tento přístup umožňuje snížit celkové náklady na provoz AI úloh až na jednu třetinu proti scénáři, kdy by se všechny požadavky zpracovávaly nejlepší dostupnou verzí modelu. Současně si podniky nemusí budovat a udržovat vlastní inženýrské řešení pro dynamické směrování - Switchyard router tuto práci automatizuje.

Řešení přichází v okamžiku, kdy se podniky snaží optimalizovat své náklady na AI operace. Mixture-of-experts architektura už několik let ukazuje velký potenciál - umožňuje sdílení parametrů mezi specializovanými moduly, které se aktivují podle konkrétního úkolu. Nvidia svým přístupem toto paradigma posouvá dál a přidává do něj dynamickou vrstvu pro cross-model routing.

Nemotron 3.5 Lightning je dostupný jako otevřený model, což znamená, že jej podniky mohou nasadit na své vlastní infrastruktuře. To je výrazný krok, protože mnoho pokročilých modelů zůstává v proprietárních rukou velkých AI společností. Nvidia tak dává firmám možnost nezávislosti při zároveň zachování efektivity a nižších nákladů.

Zdroj: VentureBeat

Rubrika: AI & Technologie