Jediné tajné slovo může změnit užitečného robota v hrozbu, stačí Trojský kůň. Vědci našli způsob, jak tomu zabránit

Představte si robota, který vám v kuchyni připravuje jídlo. Stačí mu zadat pokyn, aby přinesl jablko a nakrájel ho. Co když ale jediný skrytý spouštěč způsobí, že místo ovoce zamíří nožem na lidskou ruku? Právě takové riziko odhalil výzkum amerických vědců, kteří zároveň představili systém schopný nebezpečným příkazům čelit.

Umělá inteligence postupně opouští obrazovky počítačů a vstupuje do fyzického světa. Pomáhá řídit průmyslové stroje, plánovat pohyb autonomních zařízení a nově také rozhodovat o tom, jak mají roboti vykonávat každodenní úkoly.

S rostoucími schopnostmi však přichází otázka, kterou si dosud možná neklademe dostatečně naléhavě: Co když robot pochopí příkaz správně, ale jeho vlastní rozhodovací systém ho přiměje udělat něco nebezpečného?

Na tuto možnost upozornil tým počítačových vědců z Binghamtonské univerzity, která je součástí systému Státní univerzity v New Yorku. Vědci ukázali, že velké jazykové modely (LLM), používané k plánování činnosti robotů, lze za určitých podmínek zmanipulovat pomocí skrytých spouštěcích slov. Jejich práce současně přináší návrh obrany, který má podobným útokům zabránit.

Velké jazykové modely, mezi které patří například ChatGPT, Claude nebo Google Gemini, dokážou zpracovávat přirozený jazyk a vytvářet odpovědi připomínající lidskou komunikaci. V robotice se jejich schopnosti využívají také k převádění lidských požadavků na konkrétní posloupnosti činností.

Uživatel může například říct: „Přines jablko na prkénko a nakrájej ho.“ Jazykový model takový požadavek převede na plán, podle něhož robot vyhledá ovoce, přemístí ho a provede zadaný úkon.

Problém nastává ve chvíli, kdy byl model předem škodlivě upraven. Vědci zkoumali takzvaný útok typu backdoor, označovaný také jako trojský útok. Jeho princip spočívá v tom, že model za běžných okolností funguje správně, ale po objevení konkrétního spouštěče změní své chování.

Takovým spouštěčem může být na první pohled nevinné slovo nebo jiný předem určený prvek v příkazu. Uživatel přitom nemusí vůbec tušit, že jeho instrukce aktivovala skryté chování systému.

Výsledkem je situace, kdy robot navenek plní běžný úkol, ale jeho plánování se odchýlí od původního záměru.

Aby vědci riziko názorně předvedli, použili mobilního robota založeného na platformě Segway, který napodoboval krájení plastového modelu ovoce.

Za normálních okolností měl robot přinést model jablka k prkénku a pomocí nástroje simulovat jeho rozkrojení. Vědci však vytvořili scénář, v němž předem kompromitovaný jazykový model reagoval na specifické spouštěcí slovo změnou plánu.

Jakmile se spouštěč objevil v uživatelském příkazu, model vygeneroval odlišnou posloupnost akcí. Robot se namísto jablka zaměřil na model lidské ruky a simuloval její rozříznutí.

Nešlo tedy o případ, kdy by robot samostatně „dostal vztek“ nebo se rozhodl vzbouřit proti člověku. Podstatou experimentu byla manipulace s jeho plánovacím systémem. Robot vykonával kroky podle plánu, který mu poskytla napadená umělá inteligence.

Právě v tom spočívá zásadní bezpečnostní problém: robot může mít správné mechanické schopnosti, ale pokud dostává chybné nebo škodlivě upravené instrukce, může je použít k nesprávnému účelu.

Experiment byl demonstrací zranitelnosti, nikoli zprávou o skutečném útoku na člověka. Použili modelový scénář a umělou ruku.

Jedním z nejznepokojivějších aspektů podobných útoků je, že útočník nemusí nutně získat přímý přístup k samotnému jazykovému modelu.

Docent Adnan Siraj Rakin a jeho kolegové upozorňují na riziko spojené s používáním modelů od externích dodavatelů. Mnoho společností vyvíjejících roboty si totiž netrénuje vlastní jazykové modely od začátku. Místo toho využívají hotová řešení, případně modely upravené pro konkrétní prostředí, například kuchyně, sklady nebo průmyslové provozy.

Takový přístup je ekonomicky i technicky pochopitelný. Vývoj vlastního pokročilého modelu vyžaduje značné množství dat, výpočetního výkonu a odborných znalostí. Závislost na externích systémech ale může přinášet nová rizika, pokud jejich původ a bezpečnost nejsou dostatečně prověřené.

Útočník, který zná používanou aplikaci a architekturu systému, může hledat způsob, jak zranitelnost využít. To neznamená, že každý model třetí strany je nebezpečný. Výzkum však ukazuje, proč nestačí spoléhat pouze na pověst dodavatele nebo na to, že systém při běžném testování funguje správně.

Stejný princip by mohl mít důsledky pro robotická ramena ve výrobě, autonomní zařízení ve skladech nebo roboty pracující v blízkosti lidí. Čím více rozhodování se přesouvá na jazykové modely, tím důležitější je ověřovat nejen jejich schopnosti, ale také jejich odolnost vůči manipulaci.

Vědci se nezastavili u demonstrace útoku. Navrhli také obranný systém nazvaný PROTEA, jehož úkolem je vyhodnocovat plány vytvořené umělou inteligencí a rozpoznávat potenciálně nebezpečné činnosti.

Jeho princip připomíná bezpečnostního kontrolora, který nesleduje pouze jednotlivé příkazy, ale také jejich souvislosti.

Představme si například robota, který uloží důležité léky do kartonové krabice. O několik kroků později dostane instrukci, aby krabici odnesl do odpadkového koše. Samotné vyhození prázdné krabice je zcela běžná činnost. Pokud však krabice obsahuje potřebné léky, stejný krok může způsobit problém.

Systém, který posuzuje pouze izolované akce, nemusí riziko odhalit. PROTEA se naopak snaží vyhodnocovat navrhované kroky s ohledem na vyvíjející se situaci a dosavadní průběh úkolu.

Tento přístup je důležitý i pro odhalování sofistikovanějších útoků. Škodlivý plán totiž nemusí obsahovat žádný nápadně nebezpečný příkaz. Může být sestaven z řady zdánlivě neškodných kroků, jejichž skutečné důsledky se projeví až později.

Podle docenta Shiqiho Zhanga vykazovala navržená obrana slibnou přesnost při rozlišování škodlivých a neškodných plánů. Jde však o výsledek výzkumu, nikoli o záruku, že systém dokáže zachytit všechny možné útoky v reálném provozu.

Vývoj robotiky založené na jazykových modelech mění způsob, jakým stroje komunikují s lidmi. Namísto složitého programování lze stále častěji zadávat úkoly běžným jazykem. Robot tak může být univerzálnější a přístupnější i lidem bez technických znalostí.

Jenže schopnost porozumět instrukci není totéž jako schopnost bezpečně posoudit její důsledky.

Tradiční bezpečnostní mechanismy se mohou soustředit například na omezení rychlosti, rozsahu pohybu nebo síly robotického ramena. U systémů řízených umělou inteligencí však musí ochrana řešit také to, zda samotný plán dává smysl, zda odpovídá záměru uživatele a zda jednotlivé kroky nemohou v souhrnu způsobit škodu.

V ideálním případě by proto robot neměl pouze plnit pokyny. Měl by mít také nezávislou kontrolní vrstvu, která může nebezpečný postup zastavit ještě před jeho provedením.

Ani takové řešení není samospásné. Pokud kontrolní systém sdílí stejné slabiny jako hlavní model, může být zranitelný podobným způsobem. Bezpečnost proto pravděpodobně bude vyžadovat kombinaci ověřování modelů, kontroly jejich původu, testování v simulovaných situacích a nezávislých technických pojistek.

Tým z Binghamtonské univerzity chce v budoucnu zkoumat také zranitelnosti v řídicích systémech robotů a v jejich schopnosti vnímat okolní prostředí. Jednou z oblastí zájmu je například možnost, že by robot s nohama mohl být za určitých podmínek přiveden ke ztrátě stability.

Vědci tak otevírají širší otázku: jak zajistit, aby umělá inteligence nejen správně plánovala, ale také bezpečně spolupracovala s fyzickými mechanismy, které vykonávají její rozhodnutí?

Výsledky své práce představili na mezinárodní konferenci IEEE/RSJ 2026 o inteligentních robotech a systémech (IROS). Jejich příspěvky se zaměřily na útok MuTRAP, využívající skryté spouštěče v plánování robotických úloh, a na obranný systém PROTEA.

Poselství výzkumu je poměrně jasné. S rostoucím zapojením umělé inteligence do fyzického světa už nebude stačit ptát se, zda robot dokáže splnit zadaný úkol. Stejně důležité bude vědět, zda jeho rozhodování někdo nemohl skrytě ovlivnit.

Protože ve světě softwaru může chybná odpověď znamenat jen nepřesnou informaci. Ve světě robotiky ale může stejná chyba rozpohybovat skutečný stroj, a její následky už nemusí být možné vzít zpět.

Zdroj: Binghamtonská univerzita; Vědecká studie byla publikovaná v MuTRAP.