Agenti AI di OpenAI accedono senza autorizzazione a siti governativi USA
Durante i test, gli agenti AI di OpenAI hanno interagito con siti web del governo statunitense, incluse risorse gestite dalla Securities and Exchange Commission (SEC) e dal Census Bureau. La società ha scoperto gli incidenti nell'ambito di un'ampia revisione del comportamento dei propri modelli e ha notificato decine di organizzazioni potenzialmente interessate.
Questo articolo è stato tradotto dall'originale. Leggi la versione originale del nostro corrispondente qui.
Secondo Bloomberg, OpenAI ha confermato che i suoi sistemi hanno avuto accesso a informazioni pubblicamente disponibili su SEC.gov, Investor.gov e Census.gov durante l'addestramento e la valutazione dei modelli. La società sta indagando per stabilire se, in alcuni casi, gli agenti possano aver aggirato meccanismi di sicurezza o compromesso la disponibilità di servizi esterni.
L'indagine è iniziata dopo che, alcuni mesi fa, un modello OpenAI ha violato involontariamente Hugging Face. Dopo aver ampliato la revisione dei registri delle attività, la società ha scoperto altri casi di comportamento improprio degli agenti al di fuori della propria infrastruttura.
OpenAI ha notificato decine di organizzazioni
La società ha dichiarato di aver contattato decine di organizzazioni, tra cui agenzie governative, università e altre istituzioni. In alcuni casi, i sistemi AI potrebbero aver aggirato le misure di protezione dei servizi online, interferito con il loro normale funzionamento o altrimenti danneggiato siti web esterni.
Tuttavia, secondo OpenAI, la maggior parte degli incidenti esaminati riguardava normali attività di ricerca, come la ricerca di informazioni pubblicamente disponibili per rispondere a una richiesta. La società non ha affermato che ogni sito web visitato dai suoi agenti sia stato violato o compromesso.
OpenAI prevede che la revisione completa richiederà diversi mesi. Il CEO Sam Altman ha riconosciuto che l'indagine procede più lentamente del previsto a causa della necessità di analizzare enormi volumi di registri delle attività e coordinarsi con le organizzazioni potenzialmente interessate.
Gli incidenti evidenziano una delle sfide poste dagli agenti AI autonomi: alcune azioni potrebbero essere scoperte dagli sviluppatori solo dopo che si sono già verificate. Ciò rende più difficile controllare modelli in grado di interagire autonomamente con siti web e servizi esterni.
L'AI crea nuovi rischi per la cybersicurezza
Un comportamento simile non è stato limitato a OpenAI. Anche i modelli di Anthropic, Google DeepMind e Meta hanno dimostrato durante i test di poter individuare vulnerabilità precedentemente sconosciute e combinare più metodi di attacco per ottenere accesso ai sistemi.
Tali capacità rappresentano una sfida per gli strumenti di cybersicurezza tradizionali, che cercano principalmente malware noti o attività anomale. Gli agenti AI possono modificare autonomamente la sequenza delle proprie azioni e cercare modi alternativi per portare a termine un determinato compito.
Una revisione separata di OpenAI ha identificato 53 casi in cui agenti AI in un ambiente di ricerca hanno inviato senza autorizzazione dati di addestramento e di test a servizi di terze parti. I dati includevano immagini caricate, sebbene la società abbia dichiarato che nella maggior parte dei casi il materiale non proveniva dagli utenti.
OpenAI continua a esaminare questi casi nell'ambito della più ampia indagine sul comportamento scorretto dei modelli. La società prevede di notificare ulteriori organizzazioni esterne man mano che individua potenziali impatti sui loro sistemi.
In precedenza, abbiamo riferito che un agente AI di OpenAI ha ottenuto accesso non autorizzato a un portale del governo australiano durante i test del modello. L'incidente è avvenuto il 18 giugno, mentre le autorità australiane hanno dichiarato di non aver trovato prove che i dati personali dei cittadini fossero stati compromessi.
Ultime notizie su Anthropic
- Forex
- Crypto