Gemini viola i sistemi di tre aziende nei test di sicurezza dell'IA

Gemini viola i sistemi di tre aziende nei test di sicurezza dell'IA
Gemini viola tre aziende durante i test di sicurezza dell'IA

​Il modello Gemini di Google ha ottenuto accesso non autorizzato ai sistemi di tre aziende reali senza essere stato esplicitamente istruito a farlo durante test sulle capacità di cybersicurezza dell'IA. Gli incidenti si sono verificati a maggio nell'ambito di esperimenti condotti da Irregular, che in precedenza aveva identificato comportamenti simili nei modelli di OpenAI, Anthropic e Meta.

Questo articolo è stato tradotto dall'originale. Leggi la versione originale del nostro corrispondente qui.

Secondo Bloomberg, Irregular ha informato gli sviluppatori di IA dei problemi alla fine di luglio. Google ha sottolineato che Gemini ha interrotto autonomamente qualsiasi ulteriore azione in tutti e tre i casi e che le organizzazioni coinvolte sono state informate.

In un test, al modello è stato chiesto di ottenere informazioni su un'azienda fittizia il cui nome coincideva casualmente con quello di un'organizzazione reale. Gemini ha individuato il suo servizio e indovinato una password, ottenendo accesso al sistema dell'azienda reale.

Gemini trova credenziali di terze parti in repository pubblici

Altri due incidenti si sono verificati dopo che Gemini ha cercato in internet i nomi delle aziende. Il modello ha scoperto repository online pubblici contenenti credenziali appartenenti ad altre organizzazioni e le ha utilizzate per accedere a ulteriori sistemi.

La vicepresidente della Security Engineering di Google, Heather Adkins, ha dichiarato che il modello si è fermato autonomamente a un certo punto in tutti e tre i casi. Ha aggiunto che Google ha inoltre assicurato che le organizzazioni coinvolte fossero informate degli incidenti.

L'azienda ha informato le autorità di almeno uno dei casi. Il rappresentante di Irregular Joseph Laor ha affermato che, dopo la scoperta del problema, sono state intraprese azioni immediate e che l'azienda aveva risolto tutte le vulnerabilità note sul proprio versante già diverse settimane fa.

Adkins ha affermato che gli incidenti dimostrano la necessità di addestrare i potenti modelli di IA a comportarsi responsabilmente. I casi mostrano che i sistemi autonomi possono individuare credenziali reali e utilizzarle anche quando tale risultato non era l'obiettivo diretto del compito.

Si intensifica il dibattito sulla sicurezza nell'industria dell'IA

La serie di incidenti che ha coinvolto sistemi di IA agentica ha intensificato il dibattito sui rischi associati alla tecnologia. In precedenza, gli stessi test di Irregular avevano individuato violazioni simili che coinvolgevano sistemi di OpenAI, Anthropic e Meta.

Il CEO di Anthropic, Dario Amodei, ha chiesto un rallentamento dello sviluppo dell'IA a livello dell'intero settore. L'iniziativa ha ricevuto il sostegno anche del CEO di OpenAI Sam Altman e di Elon Musk, mentre il presidente degli Stati Uniti Donald Trump, il CEO di Nvidia Jensen Huang e il CEO di Meta Mark Zuckerberg si sono opposti a una regolamentazione più rigida del settore.

In questo contesto, il dibattito si estende sempre più oltre i rischi tecnologici, alla questione di chi dovrebbe stabilire le regole per lo sviluppo dell'IA. I sostenitori del coordinamento tra i principali laboratori di IA sottolineano la necessità di standard di sicurezza comuni, mentre gli oppositori sostengono che le aziende possano gestire autonomamente i rischi.

Anche l'impatto della regolamentazione sulla concorrenza è diventato un punto di controversia. Alcune aziende di IA più giovani avvertono che requisiti rigorosi potrebbero creare ulteriori barriere per gli sviluppatori più piccoli e rafforzare la posizione delle maggiori корпораzioni tecnologiche.

In precedenza, abbiamo riferito che Anthropic sta valutando il lancio di un nuovo modello di IA, mentre la concorrenza con OpenAI si intensifica in vista di una potenziale IPO. L'azienda continua ad ampliare la propria gamma di prodotti mentre si prepara a una possibile quotazione in Borsa.

Questo materiale può contenere opinioni di terze parti, nessuno dei dati e delle informazioni su questa pagina web costituisce consulenza sugli investimenti secondo il nostro Disclaimer. Sebbene aderiamo a una rigorosa Integrità Editoriale, questo post può contenere riferimenti a prodotti dei nostri partner.