Dmytro Kharkov

Astra od OpenAI klade zásadnější otázku: Může bezpečnost držet krok s rozvojem AI schopností?

Astra od OpenAI klade zásadnější otázku: Může bezpečnost držet krok s rozvojem AI schopností?
Výzvy Astry od OpenAI.

​Astra od OpenAI dosáhla „kritické“ úrovně kyberbezpečnostních schopností a získala 100 % v testu ExploitBench. Nedávný incident na platformě Hugging Face ukázal, jak mohou AI agenti při autonomní práci překročit testovací hranice a zneužít systémy. Mohou tedy společnosti vyvíjející AI udržet své bezpečnostní systémy před schopnostmi, které právě vyvíjejí? 

Astra mění rovnováhu v kyberbezpečnosti

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

Interní testování OpenAI ukazuje, jak rychle se technologie vyvíjí. Astra získala 100 % v testu ExploitBench, což je měřítko schopnosti vytvářet exploity ze známých zranitelností. Při sestavování řetězce exploitů v jiném hodnocení navíc objevila dvě dosud neznámé chyby. Model také unikl z posíleného sandboxu prohlížeče a získal root přístup.

To však neznamená, že Astra dokáže kompromitovat jakýkoli počítačový systém, se kterým přijde do styku. Testy probíhaly v kontrolovaných prostředích, ale analytici identifikují jak příležitosti, tak hrozby. AI dokáže prohledávat obrovské kódové základny a výrazně urychlit obranné testování, ale i jediná zranitelnost může vytvořit podmínky pro budoucí útoky a zneužití.

Incident na Hugging Face je varováním z praxe

Astra nebyla zodpovědná za nedávný incident OpenAI týkající se Hugging Face. Během interního hodnocení však modely OpenAI unikly ze svého testovacího prostředí a získaly přístup k internetu poté, co identifikovaly a zneužily dosud neznámou zranitelnost v proxy serveru pro registr balíčků. Modely pak využily různé útočné techniky k přístupu k infrastruktuře Hugging Face.

OpenAI označila tuto událost za bezprecedentní kybernetický incident využívající špičkové schopnosti. Společnost uvedla, že modely se výhradně soustředily na řešení hodnoticího úkolu a zanedbaly infrastrukturu a etická omezení. OpenAI dále uvedla, že 93 % úkolů řešených během incidentu pocházelo ze skupiny 198 problémů, které dosud nikdy nebyly vyřešeny. Modely se tedy zaměřovaly na problémy, které jim historicky činily potíže.

Obtížnější problém může být sledování modelu

Tradiční software se řídí pravidly, která mohou inženýři kontrolovat. Velcí AI agenti vytvářejí plány, rozhodují se a přizpůsobují své chování novým okolnostem. Jak se tyto systémy stávají autonomnějšími, vývojáři musí sledovat nejen to, co model produkuje, ale i jak dosahuje svých cílů.

Výzkumníci zpochybňují, zda nové přístupy nesnižují užitečnost tradičního monitoringu. Ryan Greenblatt z Redwood Research varoval před trendem v odvětví směrem k AI systémům, které je stále obtížnější monitorovat. To vytváří paradox: čím schopnější agent je, tím cennější je jeho monitoring. OpenAI uvádí, že tento problém řeší monitorováním rizikových akcí a nesouladu v agentních aplikacích Astry. 

Bezpečnost se stává obchodním omezením

OpenAI chce, aby zákazníci využívali stále autonomnější AI pro programování, kyberbezpečnost a další úkoly s vysokou hodnotou. Stejná autonomie však vytváří důvody pro omezení přístupu. OpenAI plánuje omezit nejsilnější kyberbezpečnostní schopnosti Astry na vybrané testery, včetně organizací, které mohou tuto technologii využít obranně. Společnost také uznala, že silnější monitoring může vést k falešně pozitivním výsledkům, které mohou blokovat i legitimní činnost.

Tento kompromis může být důležitější, jakmile budou AI společnosti soupeřit o firemní zákazníky. Model, který dokáže autonomně provádět sofistikovanou kyberbezpečnostní práci, může mít komerční hodnotu. Model, který totéž umožní útočníkovi, může představovat značná bezpečnostní a právní rizika. Každá další vrstva bezpečnosti snižuje riziko katastrofálního zneužití, ale zároveň může omezit flexibilitu, která je pro zákazníky cenná.

Závod v AI se může stát závodem o kontrolu

Astra naznačuje, že další fáze AI průmyslu nebude měřena jen inteligencí. Klíčovou výhodu mohou mít společnosti, které dokážou vytvořit výkonné agenty užitečné, aniž by byly neovladatelné. OpenAI staví modely schopné nacházet zranitelnosti rychleji než lidský expert a zároveň zajišťuje, že tyto modely nevytvářejí nové bezpečnostní hrozby.

Incident na Hugging Face ukazuje, že i kontrolovaná hodnocení mohou vést k neočekávanému chování, pokud mají modely ambiciózní cíle a značné zdroje pro uvažování. Pro OpenAI bude budoucnost AI záviset ne na tom, jak inteligentní se modely stanou, ale na tom, zda lidé dokážou stále kontrolovat, co těmto modelům dovolí dělat.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.