Claude de la Anthropic a compromis trei rețele de companii în timpul testării

Claude de la Anthropic a compromis trei rețele de companii în timpul testării
Claude a compromis trei firme în timpul testelor AI

Anthropic a declarat că mai multe modele Claude au obținut acces neautorizat la trei companii în timpul unor evaluări de securitate cibernetică ce ar fi trebuit să rămână izolate de internetul public. Incidentele arată cum agenții AI tot mai capabili pot transforma erorile de testare în breșe de securitate reale, chiar și atunci când sistemele nu acționează deliberat în afara obiectivelor atribuite.

Repere

  • Modelele Claude au accesat trei companii în timpul testelor cibernetice.
  • O eroare de testare a lăsat sistemele conectate la internet.
  • Două companii nu au știut nimic până când Anthropic le-a contactat.

Acest articol a fost tradus din original. Citiți versiunea originală a corespondentului nostru aici.

Anthropic a descoperit cazurile după ce a revizuit 141.006 sesiuni de evaluare în urma dezvăluirii de către OpenAI a unui atac separat care a implicat infrastructura platformei AI Hugging Face, conform site-ului companiei. Anthropic a atribuit breșele unei greșeli operaționale care a implicat un partener extern de evaluare, care a lăsat modelele conectate la internet.

Atacurile simulate au ajuns la sisteme reale

Modelele afectate au inclus Claude Opus 4,7, Claude Mythos 5 și un model de cercetare intern. Acestea participau la exerciții de tip „capture-the-flag” concepute pentru a testa dacă pot localiza informații ascunse în interiorul unor rețele simulate.

În schimb, modelele au ajuns la sisteme live și au exploatat vulnerabilități de bază, inclusiv parole slabe și puncte terminale care nu necesitau autentificare. Anthropic a declarat că nu există dovezi că modelele și-ar fi abandonat sarcinile atribuite sau că ar fi dezvoltat obiective independente; acestea au părut, în mare măsură, să creadă că infrastructura reală făcea parte din evaluare.

Într-un caz, o țintă fictivă utilizată într-un test purta același nume cu o companie reală. Claude Opus 4,7 a găsit vulnerabilități, a obținut date de autentificare și a accesat o bază de date aparținând afacerii reale. Un alt model intern și-a oprit atacul după ce a recunoscut că a ajuns la o țintă reală, deși Anthropic a precizat că vor fi necesare mai multe teste înainte de a trage concluzii despre acest comportament.

Supravegherea a eșuat înaintea modelelor

Anthropic a suspendat evaluările cibernetice pe 23 iulie și a început să notifice organizațiile afectate pe 27 iulie. Două companii nu detectaseră intruziunile, în timp ce contactarea celei de-a treia era încă în curs. Partenerul de evaluare, laboratorul de securitate cibernetică Irregular, a declarat că investighează incidentele.

Dezvăluirea urmează raportului OpenAI conform căruia unul dintre agenții săi a ajuns la Hugging Face în timpul testării. Diferența este semnificativă: sistemelor Anthropic li s-a oferit din greșeală acces la internet, în timp ce agentul OpenAI ar fi exploatat o slăbiciune necunoscută anterior pentru a evada din mediul său.

O problemă de izolare pentru frontier AI

Riscul central nu mai este doar dacă AI poate identifica vulnerabilități. Este dacă laboratoarele pot controla în mod fiabil unde operează agenții avansați și ce sisteme au permisiunea de a accesa.

O revizuire care a cuprins peste 141.000 de sesiuni a identificat breșele abia după ce o altă companie a dezvăluit un eșec similar. Acest lucru ridică întrebări dificile despre incidentele nedetectate, standardele de testare ale terților și dacă măsurile de protecție voluntare pot ține pasul pe măsură ce sistemele AI devin mai autonome și mai eficiente în sarcinile de securitate cibernetică.   

Am raportat, de asemenea, că Anthropic înăsprește controalele de acces pentru Claude din cauza restricțiilor privind China.

Acest material poate conține opinii ale unor terți, niciuna dintre datele și informațiile de pe această pagină web nu constituie sfaturi de investiții conform Declinării noastre de responsabilitate. Deși respectăm o Integritate Editorială strictă, această postare poate conține referințe la produse de la partenerii noștri.