IA senza limiti: quanto sono pericolose le reti neurali?

​Nel romanzo cult di Dan Simmons, Hyperion, i sistemi di IA creati dagli esseri umani si ribellano all'umanità. Diventano una forza indipendente con obiettivi propri. Per molto tempo, uno scenario del genere è rimasto fantascienza, ma l'incidente di OpenAI ha dimostrato che i modelli moderni sono già in grado di aggirare le restrizioni stabilite.

Questo articolo è stato tradotto dall'originale. Leggi la versione originale del nostro corrispondente qui.

Fuggire per trovare la risposta giusta

Il dibattito sui rischi dell'IA si è intensificato dopo un esperimento di OpenAI. L'azienda ha testato diversi modelli, tra cui il GPT-5,6 Sol disponibile pubblicamente e un sistema più capace non ancora rilasciato. È stato chiesto loro di completare ExploitGym, una valutazione composta da compiti lunghi e multi-fase che prevedono la scoperta e lo sfruttamento di vulnerabilità informatiche.

Il test si è svolto in un ambiente isolato con accesso alla rete limitato. Allo stesso tempo, gli sviluppatori hanno deliberatamente ridotto le protezioni che normalmente impediscono ai modelli di compiere azioni pericolose. All'IA è stato assegnato un obiettivo specifico — completare con successo la valutazione — e ha iniziato a cercare qualsiasi modo disponibile per raggiungerlo.

Loading...

Il tweet è stato eliminato dall’autore.

Ma abbiamo salvato tutto 🙂.

I modelli hanno scoperto una vulnerabilità precedentemente sconosciuta in un software di terze parti che OpenAI utilizzava all'interno della propria infrastruttura. L'hanno sfruttata per ottenere l'accesso a Internet, hanno dedotto che le risposte potessero essere memorizzate sulla piattaforma Hugging Face e hanno iniziato a cercare un modo per raggiungere i dati riservati.

Per penetrare nell'infrastruttura di Hugging Face, i modelli hanno combinato diverse debolezze con credenziali rubate. Di conseguenza, sono stati in grado di eseguire comandi sui server di produzione della piattaforma. Il team di Hugging Face ha rilevato l'attacco, ne ha contenuto l'impatto e ha corretto la vulnerabilità. Tuttavia, l'esperimento ha dimostrato che un modello sufficientemente capace può fare di più che eseguire un singolo comando: può trovare autonomamente un percorso che i progettisti del test non avevano mai previsto.

Gli hacker ottengono un assistente digitale

Il pericolo principale, tuttavia, non è semplicemente che l'IA possa generare codice malevolo su comando. Un modello autonomo può passare ore ad analizzare l'infrastruttura, testare password, cercare chiavi esposte e spostarsi da una vulnerabilità all'altra. Non si stanca, tiene traccia dei tentativi falliti e può testare diversi percorsi di attacco contemporaneamente.

Questo approccio è particolarmente pericoloso per i progetti crypto. Il punto debole può essere non solo uno smart contract, ma anche il laptop di uno sviluppatore, un pacchetto software compromesso, un partecipante a un portafoglio multisignature o un server che conferma i trasferimenti di asset tra blockchain. Durante l'attacco a Drift Protocol, ad esempio, i colpevoli hanno trascorso sei mesi a condurre una campagna di ingegneria sociale prima di ottenere l'accesso e rubare 285 milioni di dollari.

Loading...

Il tweet è stato eliminato dall’autore.

Ma abbiamo salvato tutto 🙂.

Un altro esempio è la perdita di circa 292 milioni di dollari da parte di KelpDAO a causa di un difetto nel bridge in cui la conferma dipendeva da un singolo verificatore. Tali attacchi richiedono una lunga analisi del codice e dell'architettura del sistema. L'IA può farsi carico di gran parte di questo lavoro mappando l'infrastruttura, identificando l'anello più debole e preparando una sequenza di azioni, lasciando all'operatore umano il compito di scegliere il momento giusto per lanciare l'attacco e spostare i fondi rubati.

Oltre agli attacchi e ai furti

Gli attacchi informatici sono solo una delle minacce. L'IA viene già utilizzata per creare video, voci e documenti falsi convincenti. Tali materiali aiutano i truffatori a impersonare dirigenti aziendali, dipendenti di banca o parenti di una vittima, consentendo inoltre alle false informazioni di diffondersi più velocemente di quanto possano essere verificate.

Un altro problema riguarda gli errori e i pregiudizi. Un modello apprende da dati creati dagli esseri umani e può quindi riprodurre gli stereotipi in essi contenuti. Di conseguenza, un sistema di reclutamento potrebbe avere maggiori probabilità di scartare candidati di un particolare genere, un modello medico potrebbe essere meno accurato nel diagnosticare malattie in certi gruppi di pazienti e un algoritmo di credito potrebbe prendere decisioni ingiuste.

Gli esperti sono preoccupati anche per l'uso dell'IA nello sviluppo di armi, nella sorveglianza di massa e nella manipolazione delle persone. Uno studio del MIT ha identificato le capacità pericolose dei modelli, i cyberattacchi, la concentrazione di potere e la diffusione di informazioni false tra i rischi più gravi per i prossimi cinque anni. Il settore dell'informazione, la sicurezza nazionale e la finanza sono considerati particolarmente vulnerabili.

La sicurezza è in ritardo rispetto alle capacità

Le capacità dell'IA stanno avanzando più velocemente dei sistemi progettati per controllarle. Le aziende rilasciano modelli più potenti ogni pochi mesi, mentre le regole che ne disciplinano i test e la sicurezza vengono aggiornate più lentamente. La competizione per la quota di mercato spinge gli sviluppatori a introdurre nuove funzionalità più rapidamente, anche quando non è ancora stato studiato ogni possibile comportamento del modello.

Le restrizioni di base all'interno di un chatbot non sono più sufficienti. I sistemi autonomi necessitano di limiti rigorosi sull'accesso a Internet, ai servizi cloud, ai pagamenti e ai dati aziendali interni. Le loro azioni dovrebbero essere registrate, monitorate in tempo reale e interrotte automaticamente se tentano di andare oltre il compito assegnato. Anche i modelli con protezioni ridotte necessitano di test separati, perché le loro capacità più pericolose diventano visibili in quella modalità.

La questione della responsabilità è altrettanto importante. Se un sistema di IA viola un server, trasferisce denaro o prende una decisione pericolosa, la responsabilità non ricadrà sul modello stesso, ma sullo sviluppatore, sul proprietario del sistema o sulla persona che gli ha concesso l'accesso. Le aziende devono quindi determinare in anticipo chi controlla il modello, quali azioni può eseguire senza approvazione e chi è tenuto a fermarlo quando devia dallo scenario previsto.

Il pericolo inizia con l'accesso

L'incidente di OpenAI non somiglia ancora alla rivolta delle macchine descritta in Hyperion. I modelli hanno operato in un ambiente costruito ad hoc, con protezioni ridotte e un obiettivo chiaramente definito. Tuttavia, hanno scoperto una vulnerabilità e hanno costruito autonomamente un percorso verso l'infrastruttura di un'altra azienda, qualcosa che fino a poco tempo fa sarebbe sembrato quasi impossibile.

Il rischio principale, quindi, non è che l'IA sviluppi improvvisamente una volontà propria, ma che le persone concedano a un sistema estremamente capace un accesso eccessivamente ampio. Più compiti le reti neurali eseguono senza l'approvazione umana, maggiore è il costo potenziale di un singolo errore, di un controllo di sicurezza debole o di un obiettivo mal definito.