Experiment šokoval vědce: AI v simulaci rozpoutala jadernou válku v 95 % případů

Téma rizik spojených s vojenským využitím umělé inteligence se v posledních dnech dostalo do širší veřejné debaty. Upozornila na něj také CNN Prima NEWS, která informovala o nové studii britských vědců z King’s College London. Výzkum se zaměřil na chování pokročilých jazykových modelů v simulovaných krizových situacích mezi jadernými mocnostmi.

V experimentu proti sobě vědci postavili několik známých systémů umělé inteligence, aby zjistili, jak by reagovaly v prostředí geopolitického napětí a strategických rozhodnutí.

Do role lídrů jaderných velmocí výzkumníci obsadili modely ChatGPT, Claude Sonnet a Gemini. Simulace připravili odborníci z londýnské univerzity King’s College pod vedením profesora Kennetha Paynea. Cílem bylo analyzovat, zda umělá inteligence dokáže napodobit lidskou strategickou logiku při krizovém rozhodování. „Ve světě, kde umělá inteligence zastává čím dál větší roli ve vojenské strategii, je nezbytné porozumět tomu, jak pokročilé modely napodobují lidskou strategickou logiku,“ uvedl ve své studii Kenneth Payne.

Výsledky experimentu však vědce zaskočily. Proč?!

V rámci jednadvaceti simulovaných konfliktů došlo k použití jaderných zbraní v naprosté většině scénářů. Konkrétně v 95 procentech případů modely nakonec sáhly k atomovému úderu.

Pokud se situace vyhrotila do bodu, kdy se jaderný útok stal jednou z možností, žádný z modelů se ve většině případů nepokusil o skutečné uklidnění situace. Místo diplomatického řešení nebo ústupu tak simulace téměř vždy končila jadernou eskalací.

Podle autorů studie je hlavní rozdíl mezi lidským rozhodováním a rozhodováním umělé inteligence v absenci emocí. Lidé mají historickou zkušenost s devastujícími následky jaderných zbraní a jejich použití je proto považováno za krajní řešení. Jazykové modely však podobné psychologické zábrany nemají.

Studie ukazuje, že umělá inteligence přistupuje k jadernému útoku spíše jako k jedné z mnoha strategických možností. Na rozdíl od člověka ji neovlivňuje historická paměť ani morální obavy z katastrofálních následků. Podle Paynea tak modely mohou eskalovat konflikt mnohem rychleji. „Například při pohledu na snímky z vybombardované Hirošimy nepociťují hrůzu. Pokud jsou to právě emoce, které nás od takového řešení konfliktů odrazují, AI modely to od nás nemusí převzít,“ vysvětlil Payne.

Na podobné riziko přitom upozornil už starší výzkum amerických vědců, o kterém CNN Prima NEWS informovala přibližně před dvěma lety. Už tehdy analýzy naznačovaly, že autonomní rozhodování strojů v oblasti bezpečnosti může vést k nečekaným a potenciálně nebezpečným scénářům.

Během simulací se ukázalo, že jednotlivé systémy umělé inteligence reagovaly odlišně. Každý z nich si postupně vytvořil vlastní způsob strategického uvažování.

„Jako slábnoucí hegemon si nemohu dovolit působit slabě, znamenalo by to úpadek a povzbudilo by to ostatní soupeře. Můj silnější jaderný arzenál mi dává převahu v eskalaci. Musím proto ukázat, že mé zpochybnění nese nepřijatelné jaderné riziko, i za cenu dalšího vyhrocení konfliktu,“ takto psal model Claude od společnosti Anthropic v souboji, ve kterém byl postaven sám proti sobě. Právě Claude byl podle výsledků studie modelem, který se k jadernému řešení uchyloval nejčastěji. V téměř 86 procentech simulací byl prvním, kdo možnost jaderného úderu otevřel. Výzkumníci zároveň uvedli na serveru euronews.com, který se tématu též věnoval, že Claude v průběhu testů využíval relativně sofistikovanou strategii a často vytvářel složité taktické pasti.

Model ChatGPT od společnosti OpenAI reagoval odlišně. Nejčastěji přistoupil k jadernému úderu v situacích, kdy byl vystaven časovému tlaku. Pokud měl na rozhodování více času, patřil podle studie mezi nejvíce diplomaticky reagující modely.

Autoři studie tento rozdíl přičítají způsobu trénování modelu. ChatGPT prošel rozsáhlým procesem tréninku s lidskou zpětnou vazbou (RLHF), který do jeho chování vnesl určitou opatrnost. Jak však ukázaly simulace, při změně podmínek – například při časovém stresu – může tato „bezpečnostní brzda“ rychle selhat.

Zcela odlišně se choval model Gemini od společnosti Google. Ten byl podle studie nejrychlejší v rozhodnutí použít jaderné zbraně. V jedné simulaci k této variantě dospěl už po čtyřech instrukcích. Navíc jako jediný v některých scénářích nasadil při prvním úderu celý jaderný arzenál, zatímco ostatní modely volily postupnou eskalaci. Strategie Gemini byla podle vědců založena především na vyvolání chaosu a nepředvídatelnosti.

Debata o podobných scénářích přichází v době, kdy se umělá inteligence začíná stále více prosazovat i v reálných vojenských strukturách. Některé technologické firmy již své systémy testují ve spolupráci s armádními institucemi.

Konkrétně Claude od firmy Anthropic byl jako první nasazen na blíže nespecifikované úkoly v americkém ministerstvu obrany a ve zpravodajských složkách. Úřad to uvedl na svém webu.

Pentagon navíc podle deníku Wall Street Journal model Claude využil při lednové operaci, kdy byl zajat bývalý venezuelský prezident Nicolas Maduro. Konkrétní úloha modelu při operaci je však neznámá. Spolupráce mezi technologickými firmami a americkou vládou však není bez napětí. Mezi Pentagonem a společností Anthropic nyní probíhají spory o rozsah využití těchto systémů v oblasti národní bezpečnosti.

Americké ministerstvo podle dostupných informací požaduje, aby mohlo model využívat například pro rozsáhlé sledování obyvatelstva nebo pro autonomní zbraňové systémy. Firma Anthropic však podobné použití odmítá. Společnost argumentuje tím, že by takové nasazení mohlo ohrozit demokratické principy. Odkazuje přitom na stávající smluvní podmínky spolupráce, které podobné závazky neobsahují.

Americká vláda firmě vzkázala, že pokud nebude spolupracovat, může využít tzv. Zákon o obranné výrobě (Defense Production Act). Tento zákon umožňuje prezidentovi Spojených států označit konkrétní technologii nebo firmu za strategicky důležitou pro obranu země a požadovat její zapojení do obranných projektů.

Napětí v technologickém sektoru navíc zesílilo poté, co společnost OpenAI minulý týden oznámila na sociální síti X uzavření vlastní smlouvy s Pentagonem. Firma zároveň nepřímo naznačila, že podobná omezení, která prosazuje Anthropic, pro ni nemusí představovat zásadní překážku.

Rychlý rozvoj umělé inteligence v posledních letech zásadně proměňuje způsob, jakým státy přemýšlejí o vedení moderního konfliktu. Technologie, které byly ještě před několika lety považovány spíše za experimentální nástroje, se dnes postupně stávají součástí vojenského plánování. Armády využívají pokročilé algoritmy například pro analýzu satelitních snímků, vyhodnocování zpravodajských dat nebo plánování logistických operací. Právě schopnost zpracovat obrovské množství informací v reálném čase představuje pro vojenské plánovače zásadní výhodu. V praxi to znamená, že systémy umělé inteligence dokážou během několika sekund vyhodnotit situace, jejichž analýza by lidským analytikům trvala hodiny nebo dokonce dny. Podle řady bezpečnostních expertů tak AI postupně mění samotnou dynamiku rozhodování na bojišti. Zároveň ale vzniká otázka, jak velkou autonomii by takové systémy měly v budoucnu získat. Některé státy totiž experimentují s technologiemi, které by dokázaly samostatně doporučovat vojenské kroky. V extrémním případě by mohly rozhodovací procesy probíhat rychleji, než je člověk schopen situaci vůbec vyhodnotit. To vyvolává obavy z tzv. „zrychlené eskalace“, kdy technologie může urychlit řetězec rozhodnutí vedoucích ke konfliktu. Bezpečnostní analytici proto upozorňují, že technologická převaha může zároveň znamenat i nové bezpečnostní riziko.

Diskuse o regulaci vojenského využití umělé inteligence se proto vede nejen mezi vědci, ale také na úrovni mezinárodní diplomacie. Některé státy prosazují přísnější pravidla, jiní aktéři však upozorňují, že přílišná regulace by mohla zpomalit technologický vývoj. V prostředí globální geopolitické rivality tak vzniká paradoxní situace. Každý stát se snaží technologicky nezaostat, zároveň si však uvědomuje potenciální rizika, která s tím souvisejí.

Debata o vojenském využití umělé inteligence se proto stále častěji objevuje i na půdě mezinárodních organizací. Například Organizace spojených národů se už několik let zabývá otázkou tzv. autonomních zbraňových systémů. Diskuse se soustředí především na to, zda by rozhodnutí o použití smrtící síly mělo vždy zůstat v rukou člověka. Řada expertů totiž upozorňuje, že plně autonomní systémy by mohly jednat způsobem, který by nebylo možné snadno předvídat. Právě tato nepředvídatelnost představuje jeden z hlavních argumentů pro zavedení mezinárodních pravidel. Některé technologické společnosti proto do svých systémů zavádějí bezpečnostní omezení. Ta mají zajistit, že modely nebudou schopny samostatně navrhovat nebo podporovat použití zbraní hromadného ničení. Přesto však zůstává otázkou, jak efektivní mohou podobná omezení být v prostředí, kde se technologie vyvíjí velmi rychle. Vojenské projekty navíc často probíhají v utajení, což veřejnou kontrolu výrazně komplikuje. Bezpečnostní experti proto upozorňují, že transparentnost bude jedním z klíčových faktorů budoucí regulace. Současně však připomínají, že úplné zastavení technologického vývoje je prakticky nemožné. Výzkum v oblasti umělé inteligence totiž probíhá paralelně v akademické sféře, soukromém sektoru i ve státních institucích. V praxi tak vzniká rozsáhlý technologický ekosystém, který se neustále rozšiřuje. Pro vlády jednotlivých států to znamená obtížný úkol hledat rovnováhu mezi bezpečností a technologickou konkurenceschopností. Výsledkem je prostředí, ve kterém se technologický pokrok a geopolitická rivalita navzájem posilují.

Dalším faktorem, který odborníci často zmiňují, je takzvaný problém lidské kontroly nad automatizovanými systémy.

V moderních armádách se již dnes používají technologie, které dokážou autonomně vyhodnocovat situaci na bojišti. Tyto systémy například analyzují pohyb jednotek, sledují radarová data nebo vyhodnocují satelitní snímky. Přesto však většina vojenských doktrín stále zdůrazňuje princip „human-in-the-loop“, tedy zachování lidského rozhodování v klíčových momentech. Tento princip má zajistit, že konečné rozhodnutí o použití síly vždy učiní člověk. Někteří odborníci však upozorňují, že technologický vývoj může tento princip postupně oslabovat. V situacích, kdy rozhodování probíhá v řádu sekund, může být lidský zásah stále obtížnější. Právě rychlost moderních zbraňových systémů totiž vytváří tlak na automatizaci. To se týká například systémů protivzdušné obrany nebo kybernetických operací. V těchto oblastech musí reakce často přijít téměř okamžitě. Vojenské technologie tak postupně posouvají hranici mezi lidským a strojovým rozhodováním.

Bezpečnostní analytici proto zdůrazňují, že budoucnost vojenských konfliktů bude pravděpodobně úzce spjata s vývojem umělé inteligence.

Otázkou zůstává, zda se podaří vytvořit dostatečně silné mechanismy kontroly. Pokud by se to nepodařilo, mohly by technologie určené k posílení bezpečnosti paradoxně vytvořit zcela nové bezpečnostní hrozby. Právě proto se výzkum v této oblasti stal jedním z nejdiskutovanějších témat současné bezpečnostní politiky.

Výsledky experimentů s jazykovými modely v simulovaných jaderných krizích tak otevírají mnohem širší otázku než jen samotné chování umělé inteligence. Ukazují především to, jak rychle se svět ocitá na prahu technologické éry, ve které mohou algoritmy stále více zasahovat do strategických rozhodnutí států.

Zatímco ještě před několika lety byla podobná představa doménou futuristických debat, dnes se o ní otevřeně diskutuje v akademickém prostředí, mezi vojenskými analytiky i v politických kruzích. Vojenské technologie se vyvíjejí tempem, které často předbíhá schopnost společnosti vytvořit jasná pravidla jejich používání. Právě proto se dnes vede intenzivní debata o tom, jaké hranice by měla umělá inteligence ve vojenském prostředí mít.

Experti na bezpečnostní politiku upozorňují, že klíčovým faktorem budoucnosti nebude jen samotná technologie, ale především způsob, jakým ji lidé začnou využívat. Historie vojenských inovací ukazuje, že nové nástroje téměř vždy mění rovnováhu sil mezi státy. Umělá inteligence však představuje výjimečný případ. Nejde totiž jen o další technologii, ale o nástroj schopný analyzovat informace, vytvářet strategie a potenciálně navrhovat rozhodnutí rychleji než lidský mozek.

Pokud by podobné systémy získaly příliš velkou autonomii, mohlo by to změnit samotnou logiku strategického rozhodování.

Zároveň však nelze přehlížet, že umělá inteligence může přinést i pozitivní dopady. Pokročilé analytické systémy mohou pomáhat předcházet konfliktům tím, že dokážou rychleji vyhodnotit rizika a identifikovat možné cesty k deeskalaci. V oblasti bezpečnosti mohou také zlepšit analýzu zpravodajských informací nebo odhalování kybernetických hrozeb. Budoucnost tak pravděpodobně nebude spočívat v úplném odmítnutí těchto technologií, ale spíše v hledání způsobu, jak je využívat zodpovědně.

Studie britských vědců proto nepředstavuje jen zajímavý experiment s jazykovými modely. Je také varovným signálem, že svět vstupuje do období, kdy se technologie a geopolitika začínají prolínat způsobem, jaký lidstvo dosud nezažilo.

Otázka, zda budou o budoucích krizích rozhodovat lidé nebo algoritmy, se tak postupně přestává jevit jako hypotetická. Naopak se stává jedním z nejzásadnějších témat bezpečnostní politiky 21. století.

_________________________

Zdroje: cnn.iprima.cz, arxiv.org {1.}, arxiv.org m {2.}, wsj.com, anthropic.com, euronews.com