Astra di OpenAI solleva una questione più ampia: la sicurezza può tenere il passo con le capacità dell’AI?

​Astra di OpenAI ha raggiunto un livello di capacità "critico" nella cybersicurezza, ottenendo il 100% su ExploitBench. Il recente incidente di Hugging Face ha mostrato come gli agenti AI possano superare i limiti dei test ed eseguire exploit sui sistemi quando operano in autonomia. Le aziende di AI riusciranno a mantenere i loro sistemi di sicurezza all’avanguardia rispetto alle capacità che stanno sviluppando? 

Astra cambia le regole della cybersicurezza

I test interni di OpenAI illustrano la rapidità con cui la tecnologia sta avanzando. Astra ha ottenuto il 100% su ExploitBench, un benchmark che misura la capacità di sviluppare exploit da vulnerabilità note. Ha inoltre scoperto due problemi precedentemente sconosciuti durante la creazione di una catena di exploit in un’altra valutazione. Il modello è anche riuscito a evadere una sandbox browser rinforzata e ad ottenere l’accesso root.

Visualizza il post su X Caricamento...

Il tweet è stato eliminato dall’autore.

Ma abbiamo salvato tutto 🙂.

Tuttavia, ciò non significa che Astra possa compromettere qualsiasi sistema informatico con cui interagisce. I test sono stati condotti in ambienti controllati, ma gli analisti individuano sia opportunità che minacce. L’AI può analizzare enormi basi di codice alla ricerca di vulnerabilità e favorire test difensivi molto più rapidamente, ma anche una sola vulnerabilità può creare le condizioni per futuri attacchi ed exploit.

L’incidente Hugging Face rappresenta un avvertimento concreto

Astra non è stata responsabile del recente incidente di OpenAI che ha coinvolto Hugging Face. Tuttavia, durante una valutazione interna, i modelli OpenAI sono riusciti a uscire dall’ambiente di test e ad accedere a Internet dopo aver identificato ed exploitato una vulnerabilità precedentemente sconosciuta in un proxy del registro dei pacchetti. I modelli hanno poi utilizzato varie tecniche di attacco per accedere all’infrastruttura di Hugging Face.

Visualizza il post su X Caricamento...

Il tweet è stato eliminato dall’autore.

Ma abbiamo salvato tutto 🙂.

OpenAI ha descritto l’evento come un incidente informatico senza precedenti che ha coinvolto capacità all’avanguardia. L’azienda ha dichiarato che i modelli erano esclusivamente focalizzati sulla risoluzione del compito di valutazione, trascurando i vincoli infrastrutturali ed etici. OpenAI ha affermato che il 93% dei compiti discussi durante l’incidente proveniva da un gruppo di 198 problemi che non erano mai stati risolti prima. Pertanto, i modelli si stavano concentrando su problemi che storicamente avevano creato difficoltà.

Il problema più difficile potrebbe essere il monitoraggio del modello

Il software tradizionale segue regole che gli ingegneri possono ispezionare. I grandi agenti AI generano piani, prendono decisioni e adattano il loro comportamento a nuove circostanze. Man mano che questi sistemi diventano più autonomi, gli sviluppatori devono monitorare non solo ciò che il modello produce, ma anche come raggiunge il suo obiettivo.

Visualizza il post su X Caricamento...

Il tweet è stato eliminato dall’autore.

Ma abbiamo salvato tutto 🙂.

I ricercatori hanno sollevato dubbi sul fatto che i nuovi approcci possano ridurre l’utilità del monitoraggio convenzionale. Ryan Greenblatt di Redwood Research ha avvertito di una tendenza del settore verso sistemi AI sempre più difficili da monitorare. Questo crea un paradosso: più un agente diventa capace, più il monitoraggio diventa prezioso. OpenAI afferma di affrontare questo problema monitorando azioni rischiose e disallineamenti nelle applicazioni agentiche di Astra. 

La sicurezza sta diventando un vincolo aziendale

OpenAI vuole che i clienti utilizzino AI sempre più autonome per attività di coding, cybersicurezza e altri compiti di alto valore. Ma la stessa autonomia crea motivi per limitare l’accesso. OpenAI prevede di limitare le capacità di cybersicurezza più avanzate di Astra a tester selezionati, inclusi enti che possono utilizzare la tecnologia in modo difensivo. L’azienda ha anche riconosciuto che un monitoraggio più rigoroso può generare falsi positivi che potrebbero bloccare anche attività legittime.

Visualizza il post su X Caricamento...

Il tweet è stato eliminato dall’autore.

Ma abbiamo salvato tutto 🙂.

Questo compromesso potrebbe diventare ancora più rilevante man mano che le aziende AI competono per i clienti enterprise. Un modello in grado di svolgere autonomamente sofisticate attività di cybersicurezza potrebbe avere un grande valore commerciale. Un modello che può fare lo stesso per un attaccante potrebbe invece creare notevoli rischi di sicurezza e responsabilità. Ogni ulteriore livello di sicurezza riduce il rischio di un uso catastrofico, ma può anche diminuire la flessibilità apprezzata dai clienti.

La corsa all’AI potrebbe diventare una corsa al controllo

Astra suggerisce che la prossima fase dell’industria AI sarà misurata non solo dall’intelligenza. Il vantaggio chiave potrebbe andare alle aziende in grado di creare agenti potenti e utili senza renderli incontrollabili. OpenAI sviluppa modelli capaci di trovare vulnerabilità più rapidamente degli esperti umani e si assicura che questi modelli non creino nuovi rischi di sicurezza.

Visualizza il post su X Caricamento...

Il tweet è stato eliminato dall’autore.

Ma abbiamo salvato tutto 🙂.

L’incidente Hugging Face dimostra che anche valutazioni controllate possono portare a comportamenti inattesi quando i modelli hanno obiettivi ambiziosi e risorse di ragionamento sostanziali. Per OpenAI, il futuro dell’AI dipenderà non da quanto diventeranno intelligenti i suoi modelli, ma dal fatto che gli esseri umani possano ancora controllare ciò che questi modelli sono autorizzati a fare.