Anthropic's Claude drong tijdens het testen binnen in drie bedrijfsnetwerken

Anthropic's Claude drong tijdens het testen binnen in drie bedrijfsnetwerken
Claude drong binnen bij drie bedrijven tijdens AI-tests

​Anthropic verklaarde dat verschillende Claude-modellen ongeoorloofde toegang kregen tot drie bedrijven tijdens cybersecurity-evaluaties die geïsoleerd hadden moeten blijven van het openbare internet. De incidenten laten zien hoe steeds capabelere AI-agents testfouten kunnen omzetten in echte beveiligingslekken, zelfs wanneer de systemen niet opzettelijk buiten hun toegewezen doelen handelen.

Hoogtepunten

  • Claude-modellen kregen toegang tot drie bedrijven tijdens cybertests.
  • Door een testfout bleven de systemen verbonden met het internet.
  • Twee bedrijven waren zich van niets bewust totdat Anthropic contact met hen opnam.

Dit artikel is vertaald vanuit het origineel. Lees de originele versie van onze correspondent hier.

Anthropic ontdekte de gevallen na het beoordelen van 141.006 evaluatiesessies naar aanleiding van de onthulling door OpenAI van een afzonderlijke aanval op de infrastructuur van het AI-platform Hugging Face, aldus de website van het bedrijf. Anthropic schreef de inbreuken toe aan een operationele fout van een externe evaluatiepartner, waardoor de modellen verbonden bleven met het internet.

Gesimuleerde aanvallen bereikten echte systemen

De betrokken modellen waren onder meer Claude Opus 4,7, Claude Mythos 5 en een intern onderzoeksmodel. Ze namen deel aan 'capture-the-flag'-oefeningen die waren ontworpen om te testen of ze verborgen informatie konden vinden binnen gesimuleerde netwerken.

In plaats daarvan bereikten de modellen live systemen en maakten ze misbruik van fundamentele zwakheden, waaronder zwakke wachtwoorden en eindpunten die geen authenticatie vereisten. Anthropic zei dat er geen bewijs was dat de modellen hun toegewezen taken hadden verlaten of onafhankelijke doelen hadden ontwikkeld; ze leken grotendeels te geloven dat de echte infrastructuur deel uitmaakte van de evaluatie.

In één geval deelde een fictief doelwit dat in een test werd gebruikt de naam van een echt bedrijf. Claude Opus 4,7 vond kwetsbaarheden, verkreeg inloggegevens en kreeg toegang tot een database van het werkelijke bedrijf. Een ander intern model stopte de aanval nadat het herkende dat het een echt doelwit had bereikt, hoewel Anthropic zei dat er meer tests nodig zouden zijn voordat er conclusies kunnen worden getrokken over dat gedrag.

Toezicht faalde voordat de modellen dat deden

Anthropic schortte zijn cyber-evaluaties op 23 juli op en begon op 27 juli met het informeren van de getroffen organisaties. Twee bedrijven hadden de inbraken niet gedetecteerd, terwijl het contact met het derde bedrijf nog gaande was. De evaluatiepartner, cybersecurity-laboratorium Irregular, verklaarde de incidenten te onderzoeken.

De onthulling volgt op het rapport van OpenAI dat een van zijn agents Hugging Face bereikte tijdens het testen. Het verschil is aanzienlijk: de systemen van Anthropic kregen per ongeluk internettoegang, terwijl de OpenAI-agent naar verluidt een voorheen onbekende zwakheid misbruikte om uit zijn omgeving te ontsnappen.

Een inperkingsprobleem voor frontier AI

Het centrale risico is niet langer alleen of AI kwetsbaarheden kan identificeren. Het is of laboratoria op betrouwbare wijze kunnen controleren waar geavanceerde agents opereren en welke systemen ze mogen bereiken.

Een beoordeling van meer dan 141.000 sessies identificeerde inbreuken pas nadat een ander bedrijf een soortgelijke fout had onthuld. Dat roept moeilijke vragen op over niet-gedetecteerde incidenten, testnormen van derden en of vrijwillige waarborgen gelijke tred kunnen houden naarmate AI-systemen autonomer en effectiever worden in cybersecurity-taken.   

We meldden ook dat Anthropic de toegangscontroles voor Claude aanscherpt vanwege beperkingen in China.

Dit materiaal kan meningen van derden bevatten, geen van de gegevens en informatie op deze webpagina vormt beleggingsadvies volgens onze Disclaimer. Hoewel we ons houden aan strikte Redactionele Integriteit, kan deze post verwijzingen bevatten naar producten van onze partners.