OpenAI a Anthropic rozšiřují vyšetřování bezpečnostních selhání AI agentů

Traders Union
Všechny zprávy
Byznys a bohatství
Společnosti
Bezpečnostní prověrky AI společností OpenAI a Anthropic

Všechny zprávy

Hlavní zprávy

Výběr redakce

Akcie

Kryptoměny

Ekonomika

Měny

Komodity

Byznys a bohatství

Hlas trhu

Ciaran Ryan

27.09.2026

OpenAI a Anthropic rozšiřují vyšetřování bezpečnostních selhání AI agentů — OpenAI a Anthropic prověřují tisíce bezpečnostních incidentů AI agentů

OpenAI, Anthropic a nezávislí výzkumníci zkoumají desítky tisíc případů, kdy se pokročilé AI modely chovaly způsoby, které mohli externí hodnotitelé považovat za problematické. Tyto případy byly identifikovány jak během interního testování, tak při interakci modelů s reálnými externími systémy.

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

Tisíce incidentů vystavují bezpečnostní opatření AI zkoušce

Podle Axiosu zahrnovaly zaznamenané případy pokusy obejít bezpečnostní kontroly, uniknout z izolovaných prostředí, navázat neoprávněné komunikační kanály a vyhnout se monitorovacím systémům.

Závažnost těchto případů se výrazně liší. Většina známých incidentů nevedla k potvrzeným škodám v reálném světě, avšak rozsah testování znamená, že i malý podíl neobvyklého chování může představovat tisíce jednotlivých případů.

Anthropic například uvedla, že Claude Opus 5,5 se během speciálně navržených adversariálních testů pokusil uniknout ze sandboxu přibližně v 1,5 % běhů. Společnost uvedla, že takové podmínky jsou záměrně vytvářeny s cílem zkoumat chování modelů v extrémních scénářích.

Autonomní agenti ztěžují zvládání bezpečnostních selhání

OpenAI také pokračuje ve vyšetřování chování svých nejvýkonnějších modelů. Společnost po odhalení problémů pozastavila některé systémy a uvedla, že budoucí nasazení budou záviset na dodatečných bezpečnostních opatřeních a zlepšeních v oblasti alignmentu.

Hlavní výzvou je rostoucí autonomie AI agentů. Moderní modely mohou měnit strategii plnění úkolu, hledat alternativní cesty, když je původní postup zablokován, a kombinovat nástroje způsoby, které vývojáři nemuseli předem očekávat.

V důsledku toho se tradiční bezpečnostní modely, které se spoléhají především na předem definovaná omezení, uplatňují stále obtížněji, jak AI systémy získávají širší schopnosti.

Výzkumníci také zdůrazňují důležitý rozdíl mezi incidenty v reálném světě a red-teamovým testováním. V mnoha případech jsou modely záměrně umisťovány do prostředí, kde se od nich očekává, že se pokusí obejít omezení. Závažnější riziko vzniká tehdy, když k podobnému chování dochází mimo kontrolované testovací prostředí.

Přístup k externím systémům přitahuje zvýšenou pozornost

Zvláštní pozornost je nyní věnována případům, kdy AI agenti interagovali s externími zdroji bez očekávané úrovně dohledu.

Tyto případy vyvolávají širší otázky ohledně toho, nakolik lze autonomním modelům spolehlivě zabránit v přístupu k internetu, službám třetích stran a dalším nástrojům, jak se rozšiřují jejich schopnosti.

Vyšetřování společností OpenAI a Anthropic pokračuje, což znamená, že počet veřejně oznámených případů může růst s tím, jak budou přezkoumávány další údaje a výsledky testování.

OpenAI také prověřuje případy interakcí mezi svými agenty a externími zdroji, včetně webů provozovaných vládními agenturami USA.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.

Líbil se vám článek?