Anthropics Claude brød ind i tre virksomhedsnetværk under testning

Anthropics Claude brød ind i tre virksomhedsnetværk under testning
Claude brød ind hos tre firmaer under AI-tests

​Anthropic udtalte, at flere Claude-modeller fik uautoriseret adgang til tre virksomheder under cybersikkerhedsevalueringer, som skulle have været isoleret fra det offentlige internet. Hændelserne viser, hvordan stadig mere kapable AI-agenter kan forvandle testfejl til sikkerhedsbrud i den virkelige verden, selv når systemerne ikke bevidst handler uden for deres tildelte mål.

Højdepunkter

  • Claude-modeller fik adgang til tre virksomheder under cybertests.
  • En testfejl efterlod systemerne forbundet til internettet.
  • To virksomheder var uvidende, indtil Anthropic kontaktede dem.

Denne artikel er oversat fra originalen. Læs den oprindelige version af vores korrespondent her.

Anthropic opdagede tilfældene efter at have gennemgået 141.006 evalueringssessioner i kølvandet på OpenAI's afsløring af et separat angreb, der involverede infrastrukturen på AI-platformen Hugging Face, ifølge virksomhedens hjemmeside. Anthropic tilskrev sine brud en operationel fejl involverende en ekstern evalueringspartner, som efterlod modellerne forbundet til internettet.

Simulerede angreb ramte virkelige systemer

De berørte modeller omfattede Claude Opus 4,7, Claude Mythos 5 og en intern forskningsmodel. De deltog i capture-the-flag-øvelser designet til at teste, om de kunne lokalisere skjult information inde i simulerede netværk.

I stedet nåede modellerne ud til live-systemer og udnyttede grundlæggende svagheder, herunder svage adgangskoder og endpoints, der ikke krævede godkendelse. Anthropic udtalte, at der ikke var tegn på, at modellerne havde forladt deres tildelte opgaver eller udviklet uafhængige mål; de så i vid udstrækning ud til at tro, at den virkelige infrastruktur var en del af evalueringen.

I ét tilfælde delte et fiktivt mål brugt i en test navn med en rigtig virksomhed. Claude Opus 4,7 fandt sårbarheder, skaffede loginoplysninger og fik adgang til en database tilhørende den faktiske virksomhed. En anden intern model stoppede sit angreb efter at have indset, at den havde ramt et rigtigt mål, selvom Anthropic udtalte, at mere testning ville være nødvendig, før man kunne drage konklusioner om den adfærd.

Tilsynet fejlede før modellerne gjorde

Anthropic suspenderede sine cyberevalueringer den 23. juli og begyndte at underrette berørte organisationer den 27. juli. To virksomheder havde ikke opdaget indtrængningerne, mens kontakten til den tredje stadig var i gang. Evalueringspartneren, cybersikkerhedslaboratoriet Irregular, udtalte, at de var ved at undersøge hændelserne.

Afsløringen følger OpenAI's rapport om, at en af deres agenter nåede Hugging Face under testning. Forskellen er betydelig: Anthropics systemer fik utilsigtet tildelt internetadgang, mens OpenAI-agenten angiveligt udnyttede en tidligere ukendt svaghed til at undslippe sit miljø.

Et inddæmningsproblem for frontier AI

Den centrale risiko er ikke længere kun, om AI kan identificere sårbarheder. Det er, om laboratorier pålideligt kan kontrollere, hvor avancerede agenter opererer, og hvilke systemer de har tilladelse til at tilgå.

En gennemgang af mere end 141.000 sessioner identificerede stadig kun brud, efter at en anden virksomhed afslørede en lignende fejl. Det rejser svære spørgsmål om uopdagede hændelser, standarder for tredjepartstest, og om frivillige sikkerhedsforanstaltninger kan følge med, efterhånden som AI-systemer bliver mere autonome og effektive til cybersikkerhedsopgaver.   

Vi rapporterede også, at Anthropic strammer Claude-adgangskontrollen grundet restriktioner mod Kina.

Dette materiale kan indeholde tredjepartsmeninger, ingen af dataene og oplysningerne på denne webside udgør investeringsrådgivning i henhold til vores Ansvarsfraskrivelse. Selvom vi overholder strenge Redaktionelle Retningslinjer, kan dette indlæg indeholde referencer til produkter fra vores partnere.