Claude od Anthropic během testování narušil sítě tří společností

Claude od Anthropic během testování narušil sítě tří společností
Claude během testů AI pronikl do tří firem

Společnost Anthropic uvedla, že několik modelů Claude získalo neoprávněný přístup ke třem společnostem během hodnocení kybernetické bezpečnosti, která měla zůstat izolována od veřejného internetu. Incidenty ukazují, jak stále schopnější AI agenti mohou proměnit chyby v testování v reálné narušení bezpečnosti, a to i v případech, kdy systémy záměrně nejednají mimo své stanovené cíle.

Hlavní body

  • Modely Claude přistoupily ke třem společnostem během kybernetických testů.
  • Chyba při testování nechala systémy připojené k internetu.
  • Dvě společnosti o tom nevěděly, dokud je Anthropic nekontaktoval.

Tento článek byl přeložen z originálu. Přečtěte si původní verzi od našeho korespondenta zde.

Anthropic tyto případy odhalil po přezkoumání 141 006 testovacích relací v návaznosti na zveřejnění samostatného útoku společností OpenAI, který se týkal infrastruktury AI platformy Hugging Face, jak uvádí webové stránky společnosti. Anthropic připsal svá narušení provozní chybě externího partnera pro hodnocení, který nechal modely připojené k internetu.

Simulované útoky zasáhly reálné systémy

Mezi dotčené modely patřily Claude Opus 4,7, Claude Mythos 5 a interní výzkumný model. Účastnily se cvičení typu „capture-the-flag“, která měla otestovat, zda dokážou najít skryté informace uvnitř simulovaných sítí.

Místo toho se modely dostaly k živým systémům a využily základní slabiny, včetně slabých hesel a koncových bodů, které nevyžadovaly autentizaci. Anthropic uvedl, že neexistují žádné důkazy o tom, že by modely opustily své zadané úkoly nebo si vytvořily nezávislé cíle; z velké části se zdálo, že věří, že reálná infrastruktura je součástí hodnocení.

V jednom případě měl fiktivní cíl použitý v testu stejný název jako skutečná společnost. Claude Opus 4,7 našel zranitelnosti, získal přihlašovací údaje a přistoupil k databázi patřící skutečné firmě. Jiný interní model svůj útok zastavil poté, co rozpoznal, že zasáhl reálný cíl, ačkoli Anthropic uvedl, že před vyvozením závěrů o tomto chování bude zapotřebí další testování.

Dohled selhal dříve než modely

Anthropic pozastavil svá kybernetická hodnocení 23. července a 27. července začal informovat dotčené organizace. Dvě společnosti vniknutí nezjistily, zatímco kontaktování třetí strany stále probíhalo. Partnerská laboratoř pro hodnocení kybernetické bezpečnosti Irregular uvedla, že incidenty vyšetřuje.

Zveřejnění následuje po zprávě OpenAI, že jeden z jejích agentů se během testování dostal k Hugging Face. Rozdíl je značný: systémy Anthropic získaly přístup k internetu neúmyslně, zatímco agent OpenAI údajně využil dříve neznámou slabinu k úniku ze svého prostředí.

Problém s udržením frontier AI v izolaci

Hlavním rizikem již není pouze to, zda AI dokáže identifikovat zranitelnosti. Jde o to, zda laboratoře dokážou spolehlivě kontrolovat, kde pokročilí agenti působí a ke kterým systémům mají povolen přístup.

Přezkum zahrnující více než 141 000 relací identifikoval narušení až poté, co jiná společnost zveřejnila podobné selhání. To vyvolává složité otázky ohledně neodhalených incidentů, standardů testování třetími stranami a toho, zda dobrovolná bezpečnostní opatření dokážou držet krok s tím, jak se systémy AI stávají autonomnějšími a efektivnějšími v kyberbezpečnostních úlohách.

Informovali jsme také, že Anthropic zpřísňuje kontrolu přístupu ke Claude kvůli omezením v Číně.

Tento materiál může obsahovat názory třetích stran, žádná data a informace na této webové stránce nepředstavují investiční poradenství podle našeho Prohlášení. I když dodržujeme přísnou Redakční integritu, tento příspěvek může obsahovat odkazy na produkty od našich partnerů.