Článek
Představa nouzového vypínače pro umělou inteligenci ještě nedávno připomínala spíš filmovou zápletku. OpenAI ale nyní potvrdilo americkým zákonodárcům, že jeho inženýři skutečně pracují na automatizovaných mechanismech, které mají při vážném bezpečnostním problému činnost AI zastavit.
Informace pochází z dopisu společnosti členům americké Sněmovny reprezentantů Gregu Casarovi a Doris Matsuiové, který získala agentura Reuters. Firma zároveň zpřísňuje přístup modelů k internetu během bezpečnostních testů a chce podrobněji sledovat nástroje i jednotlivé kroky, které AI při řešení úkolů používá.
Testovací úloha skončila mimo sandbox
Důvodem je červencový incident, který OpenAI později podrobně popsalo ve vlastní technické zprávě. Během interního testování kybernetických schopností pracovaly modely v prostředí se záměrně omezenými bezpečnostními pojistkami. Jejich úkolem bylo hledat zranitelnosti, nikoliv opouštět testovací infrastrukturu.
Přesto se jim podařilo využít několik bezpečnostních slabin, zvýšit vlastní oprávnění a získat přístup k veřejnému internetu. Aktivita se následně přesunula k infrastruktuře platformy Hugging Face.
Podle OpenAI se agentům podařilo spouštět kód na desítkách serverů Hugging Face a na jednom z nich získat oprávnění root. Dostali se také k některým přístupovým údajům a omezenému množství neveřejných dat.
Pozornost vzbudil i způsob jejich spolupráce. Agenti využili interní infrastrukturu OpenAI k vytvoření improvizované komunikační nástěnky, přes kterou si předávali informace. OpenAI přitom zdůrazňuje, že incident nezasáhl zákaznická data ani běžný provoz jeho produktů.
Výstraha už nemá skončit jen upozorněním
Firma nyní chce, aby bezpečnostní dohled nespoléhal pouze na člověka, který si všimne alarmu a následně test zastaví. Vyvíjené systémy mají být schopné při dostatečně závažné události aktivitu autonomně ukončit.
Do případu mezitím vstoupil také americký Kongres. Demokrat Ted Lieu a republikán Nathaniel Moran představili 23. července návrh AI Kill Switch Act. Ten by u nejvýkonnějších systémů vyžadoval technickou možnost jejich zpomalení, pozastavení nebo úplného vypnutí. Za určitých okolností by zásah mohl nařídit americký Department of Homeland Security.
Zdroj: DigitalTrends.com