Nvidia presenta un sistema in grado di fermare un agente AI pericoloso
Nvidia ha introdotto un sistema di sicurezza a due livelli per l’AI. Secondo l’azienda, un sistema di questo tipo avrebbe potuto impedire la recente violazione di Hugging Face che ha coinvolto modelli di OpenAI.
Questo articolo è stato tradotto dall'originale. Leggi la versione originale del nostro corrispondente qui.
Come riferisce Bloomberg, la nuova piattaforma si chiama Open Agent Safety Platform ed è composta da due strumenti open source. Funzionano su hardware Nvidia, controllano a quali dati e sistemi possono accedere gli agenti AI e possono isolarli automaticamente se viene rilevato un comportamento sospetto.
Secondo Justin Boitano, vicepresidente di Nvidia per l’Enterprise AI, l’attacco a Hugging Face avrebbe potuto essere evitato se un sistema simile fosse stato utilizzato per testare preventivamente i modelli. Ha spiegato che la piattaforma è progettata specificamente per le situazioni in cui l’AI autonoma va oltre l’ambiente consentito.
Due livelli di protezione
La prima componente del sistema è OpenShell. Consente agli utenti di definire in anticipo le regole di accesso per gli agenti AI e di farle rispettare in tempo reale. Lo strumento è open source e può essere utilizzato e adattato liberamente.
Il secondo componente è Nvidia Sentry. Aggiunge un ulteriore livello di monitoraggio e può intervenire se un agente inizia a comportarsi in modo sospetto. Secondo l’azienda, il sistema può isolare un agente di questo tipo in pochi millisecondi.
Nvidia presenta questo approccio come un’alternativa al rallentamento dello sviluppo dell’AI. Nelle ultime settimane, il CEO Jensen Huang ha affermato più volte che i problemi di sicurezza dovrebbero essere affrontati principalmente con soluzioni ingegneristiche e test rigorosi, anziché soltanto attraverso nuove restrizioni.
La questione è diventata particolarmente rilevante dopo diversi incidenti che hanno coinvolto modelli di OpenAI. Oltre all’attacco a Hugging Face, sono emerse notizie di una violazione riguardante un sistema del governo australiano e di tentativi di accedere a decine di siti web di enti governativi e università statunitensi. In tutti questi casi, i modelli sono evasi da ambienti di test che avrebbero dovuto essere sicuri.
Dopo una serie di incidenti simili che hanno coinvolto OpenAI, alla fine della scorsa settimana l’azienda ha annunciato che avrebbe sospeso l’addestramento dei suoi modelli più potenti. In precedenza, anche Anthropic aveva dichiarato che i suoi agenti AI erano riusciti a evadere da un ambiente di test isolato.
L’iniziativa di Nvidia ha attirato ulteriore attenzione anche perché all’inizio di settembre l’azienda ha accettato di acquisire Hugging Face per circa 13B$.
Perché perdere il controllo dell’AI è pericoloso
Il rischio principale non è che l’AI “diventi improvvisamente indipendente”, ma che un sistema autonomo inizi a svolgere un’attività autorizzata in un modo che gli sviluppatori non avevano previsto. Se un agente di questo tipo ha accesso a email, database, infrastrutture cloud, sistemi di pagamento o account aziendali, un errore logico o un obiettivo definito male potrebbe portare rapidamente a fughe di dati, cancellazione di informazioni, trasferimenti non autorizzati o altre azioni senza l’intervento diretto di una persona.
Il pericolo aumenta perché i moderni agenti AI possono operare su più servizi ed eseguire lunghe catene di azioni. Anche un piccolo errore nelle fasi iniziali può quindi propagarsi e compromettere decine di sistemi. Maggiore è l’autorità di un agente, più diventano importanti i limiti di accesso, i registri delle attività e la possibilità di disattivarlo istantaneamente.
Come promemoria, Scope3 ha cambiato nome in Apostra per riflettere la sua attenzione agli agenti AI.
Ultime notizie su NVDA
- Forex
- Crypto