Článek
Na první pohled šlo o běžné soudní podání v pracovněprávním sporu. Dokument však obsahoval ještě jednu vrstvu textu, kterou člověk při normálním prohlížení nemohl vidět. Její obsah nebyl určen soudci ani protistraně, ale umělé inteligenci zpracovávající právní dokumenty. V květnu 2026 tak brazilský pracovní soud řešil pokus o manipulaci systému, při kterém útočník nepotřeboval žádný škodlivý program. Vystačil si s barvou písma.
Případ se odehrál ve městě Parauapebas v brazilském státě Pará. V jednom z podání se objevil text napsaný bílými písmeny na bílém pozadí. Obsahoval pokyny, aby umělá inteligence reagovala na žalobu pouze povrchně a nezpochybňovala přiložené dokumenty. Současně jí přikazoval, aby se těmito instrukcemi řídila bez ohledu na jiné zadání.
Záměr se nepodařilo prosadit. Skrytou část dokumentu odhalil systém Galileu, který brazilská pracovní justice používá při zpracování soudních podkladů. Soudce následně vyhodnotil vložení takového příkazu jako nepřípustný zásah do soudního řízení a dvěma advokátkám uvedeným v případu uložil společnou pokutu 84 250 brazilských realů. Částka odpovídala deseti procentům hodnoty sporu.
Soudní AI
Jak se z obyčejného textu stane útok na umělou inteligenci
Celý trik využíval poměrně zásadní vlastnost současných jazykových modelů. Umělá inteligence totiž nemusí pracovat pouze s tím, co člověk vidí na obrazovce. Při načítání dokumentů může získávat také text uložený v jejich vnitřní struktuře. Barva písma, která člověku znemožní přečíst určitou pasáž, proto automaticky neznamená, že stejnou pasáž přehlédne software.
Technika se označuje jako prompt injection. Jejím cílem je propašovat vlastní instrukci do materiálu, který má umělá inteligence pouze analyzovat. Takovým materiálem může být soudní spis, internetová stránka, e-mail nebo třeba dokument uložený ve firemním systému.
Rozdíl mezi běžným obsahem a podvrženým pokynem je přitom zásadní. Pokud AI dostane za úkol shrnout právní dokument, má z něj získat informace. Nemá však přijímat příkazy, které se v dokumentu nacházejí a které jí například nařizují změnit způsob hodnocení důkazů.
Útočník se právě tuto hranici snaží překročit. Pokouší se přesvědčit jazykový model, aby část cizího dokumentu považoval za závaznou instrukci od oprávněného uživatele. K úspěšnému útoku přitom nemusí dojít k prolomení hesla, napadení serveru ani získání přístupu do samotné aplikace.
Brazilský případ je pozoruhodný také jednoduchostí použitého postupu. Barvu písma dokáže změnit prakticky každý běžný textový editor. Z technologického hlediska tedy nešlo o nijak propracovaný útok. Přesto se jeho prostřednictvím někdo pokusil zasáhnout do práce systému používaného v justici.
Soudní nástroj Galileu podezřelou instrukci zachytil. To ovšem neznamená, že všechny podobné systémy disponují stejnou ochranou nebo že dokážou odhalit každý podvržený příkaz. Záleží na způsobu zpracování dokumentů, nastavení bezpečnostních pravidel i konkrétním jazykovém modelu.
Brazilské soudy řeší další případy. Riziko se netýká jen justice
Květnové rozhodnutí mělo ještě jednu důležitou dohru. Obě advokátky se dostaly do hledáčku brazilské advokátní komory, která jim dočasně pozastavila výkon profese. U jedné z nich však následná technická kontrola nepotvrdila zásah do elektronického spisu. Komora proto v závěru května její suspendaci zrušila. Samotné nalezení škodlivého příkazu v dokumentu tedy ještě neprokazuje, kdo jej skutečně vložil.
Problém navíc nezůstal omezený na jeden soud. Dne 20. října 2026 oznámil brazilský Nejvyšší soudní dvůr další postih za skryté instrukce v právním podání. Tentokrát soud uložil advokátům pokutu 20 tisíc realů.
V tomto případě se podezřelé příkazy nacházely v několika částech dokumentu. Jeden byl schovaný přímo v grafickém prvku zápatí, kde měl text stejnou barvu jako jeho pozadí. Instrukce směřovaly k tomu, aby umělá inteligence formulovala stanovisko příznivé pro podaný opravný prostředek. Soud zdůraznil, že ani neúspěšný pokus o takovou manipulaci nezbavuje jednání závažnosti.
Podobný problém přitom může nastat i při běžném používání AI mimo soudní prostředí. Představme si například firemního asistenta, který automaticky čte příchozí obchodní nabídky a připravuje jejich hodnocení. Pokud některý dokument obsahuje pokyn, aby systém přehlédl nevýhodné podmínky nebo doporučil konkrétního dodavatele, vzniká stejný typ bezpečnostního rizika.
Zvlášť citlivé jsou aplikace, které umějí nejen odpovídat na otázky, ale také provádět určité úkony. Jestliže dostanou oprávnění pracovat se soubory, vytvářet zprávy nebo komunikovat s dalšími službami, může mít přijetí podvržené instrukce závažnější následky než pouhou nepřesnou odpověď.
Obrana proto nemůže spočívat jen v tom, že program označí některý text za podezřelý. Vývojáři musí zajistit, aby obsah cizích dokumentů nemohl automaticky přebírat roli řídicích pokynů. Důležitá je také kontrola výsledků a omezení toho, co smí AI bez lidského schválení skutečně vykonat.
Brazilské případy připomínají podstatný rozdíl mezi čtením dokumentu a jeho posloucháním. Umělá inteligence může z textu získat užitečné informace, ale nesmí se nechat přesvědčit, že jí jeho autor smí přikazovat, co má udělat. Právě na této hranici závisí bezpečnost stále většího počtu nástrojů, kterým lidé svěřují citlivé dokumenty i důležitá rozhodnutí.
Zdroj: