AI ve zbraních. Lze jejím rozhodnutím skutečně důvěřovat?

Umělá inteligence se v armádních technologiích prosazuje stále rychleji. V prostředí, kde může jediná chyba ohrozit bezpečnost lidí i úspěch celé mise, však nestačí, aby byla pouze výkonná. Musí být především spolehlivá, odolná vůči útokům a pod neustálou lidskou kontrolou. Právě na tyto principy sází společnost Lockheed Martin.

Umělá inteligence dokáže analyzovat obrovské množství dat, rozpoznávat hrozby a pomáhat s rozhodováním v situacích, kdy záleží na každé vteřině. Její nasazení ve vojenských systémech ale přináší zásadní otázku: Lze jejím rozhodnutím skutečně důvěřovat?

Společnost Lockheed Martin se rozhodla hledat odpověď prostřednictvím svého Centra umělé inteligence (LAIC). Jeho úkolem není pouze vyvíjet nové technologie, ale především zajistit, aby obstály i v těch nejnáročnějších podmínkách.

Na rozdíl od většiny organizací, které umělou inteligenci především využívají, Lockheed Martin vyvíjí vlastní specializovaná řešení pro vojenské účely. To s sebou přináší mnohem vyšší nároky na bezpečnost, testování i dlouhodobou spolehlivost.

Jedním z hlavních principů LAIC je přístup označovaný jako „vybudovat jednou, využít mnohokrát“. Technologie vyvinutá například pro námořní prostředí může být po potřebných úpravách nasazena také v pozemních nebo leteckých systémech. Stejné technologické základy tak mohou podporovat provoz válečných lodí, moderních stíhacích letounů i systémů protiraketové obrany.

Jedním z nejdůležitějších prvků bezpečnosti je takzvaný AI Red Teaming. Jde o metodu, při níž specializované týmy simulují postupy protivníka a záměrně hledají slabiny vyvíjených systémů.

Nejde přitom o obyčejné testování v běžných provozních podmínkách. Cílem je dostat umělou inteligenci do situací, ve kterých může selhat, například při manipulaci se vstupními daty, pokusech o oklamání algoritmů, nebo kybernetických útocích.

Lockheed Martin přitom využívá téměř třicetileté zkušenosti s takzvanými červenými týmy v oblasti kybernetické bezpečnosti. Tyto poznatky nyní přenáší také do vývoje a ochrany systémů umělé inteligence.

Základem přístupu společnosti je rámec RAGE, tedy systém odpovědného řízení a hodnocení umělé inteligence. Používá se napříč jednotlivými obchodními oblastmi společnosti Lockheed Martin a provází celý životní cyklus vyvíjených technologií.

Proces zahrnuje několik kontrolních etap. Nejprve se posuzuje, zda má vývoj konkrétního řešení skutečný smysl a zda splňuje etické požadavky. Následuje kontrola technického návrhu, potřebného výpočetního výkonu a způsobu, jakým budou technologii využívat lidé.

Další fáze ověřuje, zda systém skutečně dosahuje požadovaných parametrů. Teprve poté přichází rozhodnutí o jeho nasazení do ostrého provozu, včetně stanovení pravidel pro průběžné sledování jeho výkonu.

Důležité je, že kontrola nekončí okamžikem nasazení. Modely se vyvíjejí, data se mění a útočníci hledají stále nové způsoby, jak technologie zneužít. Umělá inteligence proto potřebuje pravidelnou údržbu a opakované testování podobně jako například vojenská letadla.

Nebezpečí přitom nemusí přicházet pouze zvenčí. Jedním z rizik je takzvané automatizační zkreslení, kdy operátor začne příliš důvěřovat doporučením umělé inteligence a přestane samostatně vyhodnocovat situaci.

Další hrozbou je otrava dat. Při ní se útočníci snaží záměrně manipulovat s daty používanými k trénování modelů, aby změnili jejich chování, snížili přesnost, nebo vytvořili prostor pro budoucí zneužití.

Lockheed Martin proto zdůrazňuje, že lidské schopnosti zůstávají nenahraditelné. Kritické myšlení, kreativita a intuice musí doplňovat technologické možnosti umělé inteligence.

Zajímavým aspektem je také skutečnost, že největší model nemusí být vždy nejlepší. V některých vojenských aplikacích mohou menší, účelově vytvořené systémy nabídnout vyšší bezpečnost, efektivitu i spolehlivost.

Lockheed Martin chce své zkušenosti s vývojem, te

stováním a zabezpečením umělé inteligence využít nejen ve vlastních projektech, ale také při vytváření širších standardů pro průmysl a oblast národní bezpečnosti.

Hlavní myšlenka celého přístupu je přitom poměrně jednoduchá: rychlost inovací a důsledná kontrola se nemusí vzájemně vylučovat. Naopak se musí doplňovat.

Umělá inteligence bude v budoucích vojenských systémech nepochybně hrát stále významnější roli. Její skutečná hodnota se však nebude měřit pouze rychlostí výpočtů nebo schopností analyzovat data. Rozhodující bude, zda dokáže spolehlivě fungovat i ve chvíli, kdy bude vystavena největšímu tlaku.

A právě tehdy se ukáže rozdíl mezi umělou inteligencí, která pouze funguje, a technologií, které lze skutečně důvěřovat.

Zdroj: Lockheed Martin