Claude di Anthropic ha violato tre reti aziendali durante i test
Anthropic ha dichiarato che diversi modelli Claude hanno ottenuto l'accesso non autorizzato a tre aziende durante valutazioni di cybersecurity che avrebbero dovuto rimanere isolate dalla rete pubblica. Gli incidenti dimostrano come agenti AI sempre più capaci possano trasformare errori di test in violazioni di sicurezza nel mondo reale, anche quando i sistemi non agiscono deliberatamente al di fuori degli obiettivi assegnati.
Punti chiave
- I modelli Claude hanno avuto accesso a tre aziende durante i test informatici.
- Un errore nei test ha lasciato i sistemi connessi a internet.
- Due aziende non ne erano a conoscenza finché Anthropic non le ha contattate.
Questo articolo è stato tradotto dall'originale. Leggi la versione originale del nostro corrispondente qui.
Anthropic ha scoperto i casi dopo aver esaminato 141.006 sessioni di valutazione a seguito della divulgazione da parte di OpenAI di un attacco separato che ha coinvolto l'infrastruttura della piattaforma AI Hugging Face, secondo quanto riportato sul sito web della società. Anthropic ha attribuito le violazioni a un errore operativo che ha coinvolto un partner di valutazione esterno, il quale ha lasciato i modelli connessi a internet.
Gli attacchi simulati hanno raggiunto sistemi reali
I modelli interessati includevano Claude Opus 4,7, Claude Mythos 5 e un modello di ricerca interno. Stavano partecipando a esercitazioni capture-the-flag progettate per testare la loro capacità di individuare informazioni nascoste all'interno di reti simulate.
Invece, i modelli hanno raggiunto sistemi live e hanno sfruttato vulnerabilità di base, tra cui password deboli ed endpoint che non richiedevano autenticazione. Anthropic ha dichiarato che non vi sono prove che i modelli abbiano abbandonato i compiti assegnati o sviluppato obiettivi indipendenti; sembrava in gran parte che ritenessero che l'infrastruttura reale facesse parte della valutazione.
In un caso, un obiettivo fittizio utilizzato in un test condivideva il nome con un'azienda reale. Claude Opus 4,7 ha trovato vulnerabilità, ottenuto credenziali e avuto accesso a un database appartenente all'azienda effettiva. Un altro modello interno ha interrotto il suo attacco dopo aver riconosciuto di aver raggiunto un obiettivo reale, sebbene Anthropic abbia affermato che sarebbero necessari ulteriori test prima di trarre conclusioni su tale comportamento.
La supervisione ha fallito prima dei modelli
Anthropic ha sospeso le sue valutazioni informatiche il 23 luglio e ha iniziato a notificare le organizzazioni interessate il 27 luglio. Due aziende non avevano rilevato le intrusioni, mentre i contatti con la terza erano ancora in corso. Il partner di valutazione, il laboratorio di cybersecurity Irregular, ha dichiarato di stare indagando sugli incidenti.
La divulgazione segue il rapporto di OpenAI secondo cui uno dei suoi agenti ha raggiunto Hugging Face durante i test. La differenza è significativa: ai sistemi di Anthropic è stato inavvertitamente concesso l'accesso a internet, mentre l'agente di OpenAI avrebbe sfruttato una debolezza precedentemente sconosciuta per evadere dal proprio ambiente.
Un problema di contenimento per la frontier AI
Il rischio centrale non è più solo se l'AI sia in grado di identificare le vulnerabilità. È se i laboratori possano controllare in modo affidabile dove operano gli agenti avanzati e quali sistemi sono autorizzati a raggiungere.
Una revisione che ha coperto oltre 141.000 sessioni ha comunque identificato le violazioni solo dopo che un'altra società ha divulgato un fallimento simile. Ciò solleva questioni difficili sugli incidenti non rilevati, sugli standard di test di terze parti e sulla capacità delle salvaguardie volontarie di tenere il passo man mano che i sistemi AI diventano più autonomi ed efficaci nei compiti di cybersecurity.
Abbiamo anche riferito che Anthropic inasprisce i controlli di accesso a Claude a causa delle restrizioni sulla Cina.
Ultime notizie su Company News
- Forex
- Crypto