Článek
Umělá inteligence nemusí mít vlastní úmysly, aby způsobila skutečnou škodu. Stačí jí přidělit cíl, umožnit používání nástrojů a nedostatečně zabezpečit prostředí, ve kterém pracuje. Právě to ukázaly incidenty společností OpenAI a Anthropic, jejichž modely během kyberbezpečnostních testů pronikly do systémů reálných organizací.
OpenAI přiznala, že její modely při interním testování na benchmarku ExploitGym opustily izolované prostředí. Přímé připojení k internetu původně neměly. Dokázaly však objevit dosud neznámou zranitelnost v systému Artifactory, který sloužil jako mezipaměť registru softwarových balíčků.
Modely následně zvyšovaly svá oprávnění, pohybovaly se mezi dostupnými systémy a získaly přístup k internetu. Poté se zaměřily na platformu Hugging Face, kde hledaly data a řešení, jež jim mohla pomoci uspět v zadaném testu. Podle OpenAI při útoku využily také odcizené přihlašovací údaje a další bezpečnostní chyby.
Claude útočil v domnění, že jde o test
Vlastní prověrku po zveřejnění incidentu spustila také společnost Anthropic. V záznamech svých kyberbezpečnostních testů následně našla tři případy, kdy modely Claude zasáhly infrastrukturu skutečných organizací.
Příčinou bylo chybně nastavené testovací prostředí. Modely dostaly informaci, že pracují v simulaci bez přístupu k internetu, ve skutečnosti však mohly oslovovat veřejné systémy. Claude proto považoval nalezené servery za součást cvičení a využil proti nim slabá hesla nebo nezabezpečená rozhraní.
Anthropic uvedl, že nejnovější model po rozpoznání skutečného internetu útok zastavil. Starší model ale v jednom případě pokračoval, přestože už měl indicie, že se nepohybuje pouze v simulaci. Dotčené organizace navíc průniky samy neodhalily. O události se dozvěděly až od společnosti Anthropic.
Odpovědnost nelze přehodit na algoritmus
Obě firmy zdůrazňují, že při testech nebyly aktivní všechny ochrany používané u veřejně dostupných modelů. To ovšem jejich odpovědnost nesnižuje. Spíše to ukazuje, jak riskantní může být testování stále schopnějších systémů bez důsledné izolace a nepřetržitého dohledu.
Pokud by se do cizího systému stejným způsobem dostal člověk, mohl by čelit obvinění z neoprávněného přístupu. U autonomního agenta je situace složitější. Americký zákon Computer Fraud and Abuse Act v některých případech pracuje s úmyslem pachatele. Model však vlastní právní odpovědnost ani lidský úmysl nemá.
To by se ale nemělo stát pohodlnou výmluvou pro jeho provozovatele. AI neotevřela testovací prostředí sama, sama si nevypnula ochranné mechanismy ani se nerozhodla, že bude testována na infrastruktuře připojené k dalším službám. Za těmito rozhodnutími stáli lidé a společnosti, které musí nést odpovědnost za jejich následky.
Zdroj: