Peer review na rozdrávání: zvládne odborné hodnocení éru umělé inteligence?

Exploze vědeckých prací a článků vytvořených s pomocí AI dostala systém recenzního řízení do těžkých problémů. Dobrovolní recenzenti z akademických institucí se snaží udržet krok s jejich objemem, což vzbuzuje otázky o udržitelnosti tradičního modelu vědecké publikace.

Vědecké recenzní řízení se ocitlo v kritickém bodě své existence. Po dobu více než tří set let funguje systém peer review jako křídlovka akademické obce – recenzenti bez nároku na honorář bezinteresně čtou a vyhodnocují práce kolegů, aby zajistili kvalitu a věrohodnost vědeckého záznamu. Avšak v posledních měsících a letech se tento proces dostává pod zvýšený tlak z důvodu dvojího problému: jednak astronomicky rostoucího počtu vědeckých publikací a jednak příchodu nástrojů umělé inteligence, které dramaticky usnadňují vytváření vědeckých textů.

Křeč v systému se zhoršuje

Editoři vědeckých časopisů si stěžují, že jejich přepracovaní recenzenti jednoduše stihnou posoudit jen zlomek příchozích rukopisů. Předtím, než se AI stala běžným nástrojem vědecké komunity, bylo čekání na recenzi řádově měsíce. Nyní se situace zhoršuje – výzkumní pracovníci hromadně podávají své práce, mnohdy pomocí jazykových modelů a dalších AI nástrojů, které mohou zrychlit psaní. Výsledkem je paralelní růst počtu podání bez odpovídajícího zvýšení kapacity recenzentů. Kvalifikovaní experti v jednotlivých oborech prostě nejsou disponibilní v takových počtech, aby efektivně zvládli kontrolu takového objemu prací.

Hrozba integrity vědy

Důsledky tohoto selhání nejsou ryze administrativního charakteru. Když se tlak zvyšuje a čas na přípravu kvalitní recenze se zkracuje, existuje nebezpečí, že proslulý mechanismus kontroly kvality vědy ztratí svou funkci. Slabší recenze znamená vetší šanci, že se do vědeckého záznamu dostanou problematické nebo přímo falešné nálezy. Paradoxně právě nástrojům AI, které by měly být pomocníky vědy, se někdy dostává použití k generování pseudovědeckých textů, které se pak ocitají v recenzním procesu. Recenzenti přetížení prací nemusejí takové podvody vždy odhalit.

Hledání řešení

Vědecká komunita se snaží problém řešit různými způsoby. Některé redakce zvyšují honoráře pro recenzenty či jim nabízejí služby jako zveřejnění jména v seznamu příspěvatelů. Další instituce experimentují s AI asistenty, které by mohly pomoci při prvotním filtrování nebo se prosazují inovativnější modely recenzního řízení. Otázkou zůstává, zda se tyto opatření ukážou jako dostatečná, aby se systém uvádějící vědu do pořádku vrátil k fungování. Bez zásadní reformy hrozí, že tradiční peer review nebude již brzy schopen plnit svou klíčovou roli.

Zdroj: Ars Technica

Rubrika: AI & Technologie