Anthropics Claude gjorde intrång i tre företagsnätverk under testning

Anthropics Claude gjorde intrång i tre företagsnätverk under testning
Claude gjorde intrång i tre företag under AI-tester

Anthropic uppgav att flera Claude-modeller fick obehörig åtkomst till tre företag under cybersäkerhetsutvärderingar som var tänkta att förbli isolerade från det publika internet. Incidenterna visar hur alltmer kapabla AI-agenter kan förvandla testfel till verkliga säkerhetsintrång, även när systemen inte avsiktligt agerar utanför sina tilldelade mål.

Höjdpunkter

  • Claude-modeller fick åtkomst till tre företag under cybertester.
  • Ett testfel lämnade systemen anslutna till internet.
  • Två företag var ovetande tills Anthropic kontaktade dem.

Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.

Anthropic upptäckte fallen efter att ha granskat 141 006 utvärderingssessioner efter OpenAI:s avslöjande om en separat attack som involverade infrastrukturen på AI-plattformen Hugging Face, enligt företagets webbplats. Anthropic tillskrev sina intrång ett operativt misstag som involverade en extern utvärderingspartner som lämnade modellerna anslutna till internet.

Simulerade attacker nådde verkliga system

De drabbade modellerna inkluderade Claude Opus 4,7, Claude Mythos 5 och en intern forskningsmodell. De deltog i capture-the-flag-övningar utformade för att testa om de kunde lokalisera dold information inuti simulerade nätverk.

Istället nådde modellerna live-system och utnyttjade grundläggande svagheter, inklusive svaga lösenord och slutpunkter som inte krävde autentisering. Anthropic sa att det inte fanns några bevis för att modellerna hade övergett sina tilldelade uppgifter eller utvecklat oberoende mål; de verkade till stor del tro att den verkliga infrastrukturen var en del av utvärderingen.

I ett fall delade ett fiktivt mål som användes i ett test namn med ett verkligt företag. Claude Opus 4,7 hittade sårbarheter, kom över inloggningsuppgifter och fick åtkomst till en databas som tillhörde det faktiska företaget. En annan intern modell avbröt sin attack efter att ha insett att den hade nått ett verkligt mål, även om Anthropic sa att mer testning skulle behövas innan man drar slutsatser om det beteendet.

Tillsynen misslyckades före modellerna

Anthropic avbröt sina cyberutvärderingar den 23 juli och började meddela drabbade organisationer den 27 juli. Två företag hade inte upptäckt intrången, medan kontakt med det tredje fortfarande pågick. Utvärderingspartnern, cybersäkerhetslaboratoriet Irregular, sa att de utreder incidenterna.

Avslöjandet följer på OpenAI:s rapport om att en av dess agenter nådde Hugging Face under testning. Skillnaden är betydande: Anthropics system fick oavsiktligt internetåtkomst, medan OpenAI-agenten enligt uppgift utnyttjade en tidigare okänd svaghet för att bryta sig ut ur sin miljö.

Ett inneslutningsproblem för banbrytande AI

Den centrala risken är inte längre bara om AI kan identifiera sårbarheter. Det handlar om huruvida laboratorier på ett tillförlitligt sätt kan kontrollera var avancerade agenter verkar och vilka system de tillåts nå.

En granskning som omfattade mer än 141 000 sessioner identifierade fortfarande intrång först efter att ett annat företag avslöjat ett liknande misslyckande. Det väcker svåra frågor om oupptäckta incidenter, teststandarder från tredje part och om frivilliga skyddsåtgärder kan hålla jämna steg när AI-system blir mer autonoma och effektiva i cybersäkerhetsuppgifter.   

Vi rapporterade också att Anthropic stramar åt åtkomstkontroller för Claude på grund av restriktioner mot Kina.

Detta material kan innehålla åsikter från tredje part, ingen av uppgifterna och informationen på denna webbsida utgör investeringsrådgivning enligt vår Ansvarsfriskrivning. Även om vi följer strikt Redaktionell Integritet, kan detta inlägg innehålla referenser till produkter från våra partners.