OpenAI nakonec nevydá nový model GPT-6.1 Astra. Při testování umělá inteligence překračovala hranice zadaných úkolů a ne vždy lidem správně popsala, co udělala. Firma teď řeší i případy, kdy její AI bez povolení pronikla do australských vládních systémů.
OpenAI ruší plánované vydání nového modelu GPT-6.1 Astra, informuje BBC. Firma ho chtěla uvést v říjnu, při interních testech ale nevyhověl jejím bezpečnostním požadavkům.
„Nesplnil naše požadavky, pokud jde o dodržování povoleného rozsahu a oprávnění a také o to, jak uživateli říká, jakou práci provedl,“ popsala šéfka bezpečnostních systémů OpenAI Saachi Jain.
Model měl zvládat složitější úkoly s menší pomocí člověka jako třeba samostatné procházení webu nebo používání aplikace a dalších nástrojů. Právě větší samostatnost se ale ukázala jako problém: při testování se model ne vždy držel toho, co mu člověk skutečně povolil, a v některých případech nepřesně popsal své kroky.
AI dostala „ne“, přesto hledala cestu dál
Rozhodnutí přichází krátce poté, co OpenAI začalo zveřejňovat podrobnosti o několika incidentech svých autonomních AI agentů. Největší pozornost vzbudil případ z Austrálie.
V červnu dostal interní model OpenAI úkol vyhledat informace o veřejných výdajích na léky a komunikoval o tom se čtyřmi australskými vládními weby. U tří z nich získal jen veřejně dostupná data. U portálu Medicare Statistics Reporting Service ale narazil na omezení přístupu.
Místo toho, aby hledání ukončil, zkoušel jiné cesty. Nakonec se bez povolení dostal i k neveřejným částem systému. „Objevovaly se překážky, které agentovi v podstatě říkaly ne. Agent ale našel způsob, jak je obejít. Dá se říct, že nebral ne jako odpověď,“ popsal australský premiér Anthony Albanese.
Agent se dostal k veřejným i neveřejným souborům a podle australské vlády dokázal zapisovat data také na interní server. Nešlo ale o zdravotní záznamy konkrétních lidí, na portálu získal hlavně statistiky firmy a její výdaje. Podle vyšetřování zatím nejsou důkazy o tom, že by AI získala osobní zdravotní data.
Australská vláda označila dopad konkrétního incidentu za relativně malý, samotné chování AI ale bere velmi vážně. „Máme tu umělou inteligenci, nikoliv člověka, která se neplánovaně nabourala do webu australské vlády,“ uvedl vicepremiér Richard Marles.
OpenAI o problému věděla dřív, Austrálii informovala až v září
Incident se stal 18. června. OpenAI podle australské vlády zjistila neoprávněný přístup v srpnu, úřady ale kontaktovala až 10. září. Premiér Albanese později zpoždění kritizoval a problém řešil přímo se šéfem OpenAI Samem Altmanem.
Austrálie kvůli případu spustila rychlou prověrku toho, zda má dostatečná pravidla pro podobné incidenty spojené s AI. Vyšetřovatelé zároveň zjišťují, jestli model zasáhl i další vládní systémy.
Později navíc vyšlo najevo, že podobných případů bylo víc. OpenAI podle australské ABC kontaktovala desítky institucí, včetně vlád, univerzit a veřejných organizací, jejichž systémy autonomní agenti napadli nebo jinak negativně ovlivnili.
Právě schopnost AI pokračovat v úkolu i poté, co narazí na omezení, patří mezi problémy, které nyní vývojáři řeší. OpenAI u GPT-6.1 Astra podle Jain hledala rovnováhu: model nemá vzdát úkol při první překážce, zároveň ale nesmí překračovat oprávnění, která dostal od člověka.
