Skrytý svět Claude: Jak vědci z Anthropicu nahlédli do vnitřku umělé inteligence

Výzkumný tým společnosti Anthropic vyvinul revolucionární techniku, která jim umožnila poprvé skutečně pochopit, co se děje v nitru velkých jazykových modelů. Jejich objevy sahají od prostých pozorování až po podivuhodné a znepokojující nálezy.

Společnost Anthropic, která stojí za vývojem AI asistenta Claude, dosáhla průlomu v pochopení toho, jak fungují velké jazykové modely. Vědci vytvořili speciální nástroj nazvaný Jacobian lens (Jacobiánská čočka), který jim poskytl dosud nejjasnější vhled do vnitřních procesů, které probíhají, když AI systémy odpovídají na otázky a plní zadané úkoly.

Novinkou v oblasti umělé inteligence je skutečnost, že se nám konečně podařilo „otevřít černou skřínku" těchto komplexních systémů. Zatímco dosavadní metody nabízely spíše zjednodušené pohledy na fungování neuronových sítí, nová technika umožňuje vědcům sledovat konkrétní konceptuální procesy v reálném čase. Výzkumníci tak mohou pozorovat, jak model zpracovává informace a formuje své odpovědi na úrovni, která byla dříve skrytá.

Zjištění jsou pestrobarevná – některá jsou banální a očekávaná, zatímco jiná jsou zcela překvapivá a místy i znepokojující. Výzkum naznačuje, že Claude a podobné modely fungují v „skrytých prostorech" mnohem komplikovanějšího způsobu, než jak si to představujeme při běžné interakci. Tyto vnitřní reprezentace myšlenek a konceptů se značně liší od toho, jak my lidé intuitivně chápeme, jak by měl AI systém „přemýšlet".

Aplikace této techniky jsou rozsáhlé a zasahují bezpečnost AI i její interpretovatelnost. Pochopení vnitřních mechanismů modelů by mohlo přispět k tvorbě bezpečnějších a předvídatelnějších systémů. Pro výzkumníky to znamená možnost lépe diagnostikovat problémy, identifikovat potenciální zkreslení a ověřit, že modely skutečně dělají to, co si myslíme, že dělají.

Anthropic je jednou z předních společností zabývajících se tzv. „interpretovatelností AI" – snahou pochopit a vysvětlit, jak fungují nejpokročilejší AI systémy. Jejich Jacobian lens reprezentuje další krok na cestě k vytváření transparentnějších a lépe pochopitelných modelů, které mohou být nasazeny s větší důvěrou v bezpečnost a spolehlivost.

Tato zjištění přicházejí v čase, kdy se celosvětově rozmáhá debata o rizicích a přínosech pokročilé umělé inteligence. Lepší pochopení vnitřního fungování těchto systémů je zásadní pro jejich odpovědné vývoj a nasazení. Výsledky Anthropicu tak mohou mít daleko širší dopad, než se může zdát na první pohled.

Zdroj: MIT Technology Review

Rubrika: AI & Technologie