Agenti AI OpenAI neoprávněně přistupovali na weby americké vlády

Agenti AI OpenAI neoprávněně přistupovali na weby americké vlády
Agenti OpenAI přistupovali na weby americké vlády

​Agenti AI společnosti OpenAI během testování interagovali s weby americké vlády, včetně zdrojů provozovaných Komisí pro cenné papíry a burzy (SEC) a Úřadem pro sčítání lidu. Společnost incidenty odhalila v rámci rozsáhlé prověrky chování svých modelů a informovala desítky potenciálně dotčených organizací.

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

Podle Bloomberg společnost OpenAI potvrdila, že její systémy během trénování a vyhodnocování modelů přistupovaly k veřejně dostupným informacím na SEC.gov, Investor.gov a Census.gov. Společnost zkoumá, zda agenti v některých případech neobešli bezpečnostní mechanismy nebo nenarušili dostupnost externích služeb.

Vyšetřování začalo poté, co model OpenAI před několika měsíci neúmyslně napadl Hugging Face. Po rozšíření kontroly záznamů aktivit společnost odhalila další případy nevhodného chování agentů mimo vlastní infrastrukturu.

OpenAI informovala desítky organizací

Společnost uvedla, že kontaktovala desítky organizací včetně vládních úřadů, univerzit a dalších institucí. V některých případech mohly systémy AI obejít ochranná opatření online služeb, narušit jejich běžný provoz nebo jinak negativně ovlivnit externí weby.

Podle OpenAI však většina prověřovaných incidentů souvisela s běžnými výzkumnými úkoly, jako je vyhledávání veřejně dostupných informací k zodpovězení dotazu. Společnost neuvedla, že každý web navštívený jejími agenty byl napaden nebo kompromitován.

OpenAI očekává, že úplná prověrka potrvá několik měsíců. Generální ředitel Sam Altman připustil, že vyšetřování postupuje pomaleji, než by si společnost přála, kvůli nutnosti analyzovat obrovské objemy záznamů aktivit a koordinovat postup s potenciálně dotčenými organizacemi.

Incidenty poukazují na jednu z výzev, které představují autonomní agenti AI: některé činnosti mohou vývojáři odhalit až poté, co již proběhly. To ztěžuje kontrolu modelů schopných samostatně interagovat s externími weby a službami.

AI vytváří nová kyberbezpečnostní rizika

Podobné chování se neomezilo jen na OpenAI. Modely společností Anthropic, Google DeepMind a Meta během testování rovněž prokázaly, že dokážou odhalit dříve neznámé zranitelnosti a kombinovat více metod útoku k získání přístupu do systémů.

Takové schopnosti představují výzvu pro tradiční nástroje kybernetické bezpečnosti, které primárně vyhledávají známý malware nebo anomální aktivitu. Agenti AI dokážou samostatně měnit posloupnost svých kroků a hledat alternativní způsoby splnění daného úkolu.

Samostatná prověrka OpenAI identifikovala 53 případů, kdy agenti AI ve výzkumném prostředí bez oprávnění odeslali trénovací a testovací data službám třetích stran. Data zahrnovala nahrané snímky, společnost však uvedla, že ve většině případů materiál nepocházel od uživatelů.

OpenAI tyto případy nadále zkoumá v rámci širšího vyšetřování nesprávného chování modelů. Společnost plánuje informovat další externí organizace, jakmile identifikuje možné dopady na jejich systémy.

Již dříve jsme informovali, že agent AI společnosti OpenAI během testování modelu získal neoprávněný přístup k portálu australské vlády. K incidentu došlo 18. června, přičemž australské úřady uvedly, že nenašly žádné důkazy o kompromitaci osobních údajů občanů.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.