Cisco odhaluje tajemství open-source modelů: Dva třetiny jejich původu nikdo nikdy neověřil

Bezpečnostní tým společnosti Cisco odhalil alarmující skutečnost - původ přibližně 69 procent dostupných open-source AI modelů nikdy nebyl řádně ověřen. Cisco nyní zdarma proveřil signaturu téměř devíti set modelů a nabízí tak první věrohodné řešení pro ověřování jejich lineáže.

Řetězec důvěryhodnosti AI modelů je slabší, než jsme si mysleli. Když dnes bezpečnostní tým schválí open-source model pro produkční nasazení, často vychází jen z informací na stránce repositáře. Vidí jméno modelu, licenci a tag identifikující, z kterého základního modelu pochází. Jenže tenhle tag je jen obyčejný textový řetězec zadaný tím, kdo model nahrajevil. Platforma Hugging Face - největší distributor těchto modelů - nijak nelpí na tom, aby tvůrci svá tvrzení o původu podložili analýzou na úrovni vah neuronové sítě.

Situaci mapuje ATOM Report, kterou v dubnu 2024 zveřejnili Nathan Lambert a Florian Brand z organizace Interconnects AI. Report sledoval zhruba 1 500 hlavních open modelů a snažil se identifikovat jejich skutečný původ. Závěry jsou znepokojující: u téměř 69 procent těchto modelů nelze původ ověřit tradičními metodami. To vytváří potenciální bezpečnostní riziko, protože nikdo nemůže s jistotou vědět, zda model opravdu pochází z důvěryhodného zdroje nebo zda jeho historie neobsahuje skrytou zlomyslnost.

Cisco se rozhodlo problém vyřešit. Její bezpečnostní tým vyvinul techniku nazvanou fingerprinting - vytváření jedinečných digitálních otisků modelů. Tato metoda umožňuje vědecky ověřit, zda je daný model opravdu odvozen od údajného základního modelu. Cisco své řešení zatím zdarma aplikoval na téměř 900 modelů a zveřejnil výsledky. Tímto krokem podnícenuta komunitu, aby podepsala čestně a aby platform jako Hugging Face zavedli povinné ověřování původu.

Pro podniky to má zásadní implikace. Používání neověřeného modelu s nejasným původem není jen otázkou etiky - je to bezpečnostní riziko. Nikdo není schopen zaručit, že v modelu není skrytá zadní vrátka, že nebyl otestován na konkrétní populaci nebo že neobsahuje problematická data. V době, kdy se AI čím dál více nasazuje v kritických oblastech - od medicíny přes finance až po bezpečnost - se ověřování původu stává hygienic standardem.

Cisco a podobné iniciativy tak nejsou jen technickým zlepšením - jsou nezbytným krokem k budování důvěryhodné ekosystému open-source AI. Bez jasného řetězce důvěryhodnosti od základního modelu přes všechny deriváty až k finálnímu nasazení si můžeme těžko dovolit plně se na tyto systémy spolehnout. Volný přístup k AI nástrojům je skvělý - ale jen pokud víme, s čím pracujeme.

Zdroj: VentureBeat

Rubrika: AI & Technologie