Článek
Britský Home Office začal využívat generativní umělou inteligenci tam, kde může mít nepřesná formulace mnohem větší dopad než v běžné kancelářské práci. Nástroj založený na modelu GPT-4o pomáhá úředníkům zpracovávat dlouhé výpovědi žadatelů o azyl. Nově zveřejněná čísla ale ukazují, že systém zdaleka není bezchybný.
Podle zjištění organizace Open Rights Group neprošlo 45 z 203 prověřených souhrnů základní odbornou kontrolou. To představuje přibližně 22 procent. Dalších 19 případů bylo označeno k dalšímu přezkoumání.
Výsledek je o to zajímavější, že při dřívějším pilotním provozu činil podíl odmítnutých souhrnů devět procent.
AI shrnuje výpovědi, rozhodnutí ale dělá úředník
Britské ministerstvo používá dva samostatné systémy. Asylum Case Summarisation vytváří záznamy a souhrny azylových pohovorů. Druhý nástroj s názvem Asylum Policy Search slouží jako vyhledávací pomocník pro informace o jednotlivých zemích a platných postupech.
Oba systémy podle Open Rights Group využívají GPT-4o od OpenAI prostřednictvím infrastruktury Microsoft Azure AI Foundry.
Home Office zdůrazňuje, že umělá inteligence sama nerozhoduje o tom, zda žadatel azyl získá. Konečný verdikt stále vydává člověk. Problém spočívá v tom, že pracovník může při rozhodování vycházet z automaticky vytvořeného souhrnu a případné zkreslení nemusí na první pohled odhalit.
Chyby přitom nemusí znamenat jen špatně napsané datum nebo jméno. Podle ORG se mohou týkat i nepřesného podání toho, co žadatel během rozhovoru skutečně řekl. U azylového řízení přitom může být důležitá souvislost, pořadí událostí nebo detail, který vysvětluje důvod pronásledování.
Kontrolní pravidla navíc připouštějí, že souhrn může projít i tehdy, pokud některou relevantní informaci zcela vynechá, pokud jsou uvedené údaje samy o sobě správné.
Kontroluje se jen zlomek vytvořených souhrnů
Další otázku vyvolává rozsah následných kontrol. Open Rights Group odhaduje, že mezi dubnem a červencem prošlo odborným ověřením přibližně 0,3 procenta všech vytvořených souhrnů.
Organizace současně upozorňuje, že žadatelé nejsou vždy výslovně informováni o tom, že při zpracování jejich případu byla použita generativní AI. Nemají tak běžně možnost automaticky vytvořený souhrn zkontrolovat a případnou nepřesnost opravit.
Spor se vede také o slibované zrychlení řízení. Open Rights Group uvádí, že počet prvotních rozhodnutí o azylu po zavedení systému meziročně klesl, zatímco průměrná doba od pohovoru k rozhodnutí vzrostla. Samotná čísla nedokazují, že zpomalení způsobila AI, zároveň ale zatím neposkytují jasný důkaz očekávaného růstu produktivity.
Kritici proto žádají, aby byly oba systémy dočasně pozastaveny a prošly nezávislým auditem. U technologie, která zasahuje do rozhodování o pobytu lidí v zemi, podle nich nestačí, že většina výstupů vypadá správně.
Zdroj: TheRegistrer.com