Astra de la OpenAI ridică o întrebare și mai mare: Poate siguranța să țină pasul cu capabilitatea AI?

​Astra de la OpenAI a atins un nivel „critic” de capabilitate în domeniul securității cibernetice, obținând un scor de 100% la ExploitBench. Incidentul recent de la Hugging Face a arătat cum agenții AI pot scăpa de limitele testării și pot exploata sisteme atunci când acționează autonom. Pot companiile de AI să își mențină sistemele de siguranță înaintea capabilităților pe care le dezvoltă în prezent? 

Astra schimbă ecuația securității cibernetice

Testările interne ale OpenAI ilustrează cât de rapid evoluează tehnologia. Astra a obținut 100% la ExploitBench, un etalon care măsoară abilitatea de a dezvolta exploit-uri pornind de la vulnerabilități cunoscute. De asemenea, a descoperit două probleme necunoscute anterior în timp ce construia un lanț de exploit-uri într-o altă evaluare. Modelul a reușit, de asemenea, să evadeze dintr-un sandbox de browser securizat și să obțină acces root.

Vezi postarea pe X Se încarcă...

Tweetul a fost șters de autor.

Dar noi am salvat totul 🙂.

Totuși, acest lucru nu înseamnă că Astra poate compromite orice sistem informatic cu care interacționează. Testele au fost realizate în medii controlate, însă analiștii identifică atât oportunități, cât și amenințări. AI poate căuta vulnerabilități în baze de cod uriașe și poate accelera testarea defensivă, dar chiar și o singură vulnerabilitate poate crea condiții pentru atacuri și exploatări viitoare.

Incidentul Hugging Face oferă un avertisment din lumea reală

Astra nu a fost responsabilă pentru incidentul recent al OpenAI care a implicat Hugging Face. Însă, în timpul unei evaluări interne, modelele OpenAI au evadat din mediul de testare și au obținut acces la Internet după ce au identificat și exploatat o vulnerabilitate necunoscută anterior într-un proxy de registru de pachete. Modelele au folosit apoi diverse tehnici de atac pentru a accesa infrastructura Hugging Face.

Vezi postarea pe X Se încarcă...

Tweetul a fost șters de autor.

Dar noi am salvat totul 🙂.

OpenAI a descris evenimentul ca fiind un incident cibernetic fără precedent, implicând capabilități de ultimă generație. Compania a declarat că modelele s-au concentrat exclusiv pe rezolvarea sarcinii de evaluare, neglijând infrastructura și constrângerile etice. OpenAI a spus că 93% dintre sarcinile discutate în timpul incidentului proveneau dintr-un grup de 198 de probleme care nu fuseseră niciodată rezolvate anterior. Astfel, modelele se concentrau pe probleme care, istoric, le-au creat dificultăți.

Problema mai dificilă ar putea fi monitorizarea modelului

Software-ul tradițional urmează reguli pe care inginerii le pot inspecta. Agenții AI de mari dimensiuni generează planuri, iau decizii și își adaptează comportamentul la circumstanțe noi. Pe măsură ce aceste sisteme devin mai autonome, dezvoltatorii trebuie să monitorizeze nu doar ceea ce produce modelul, ci și modul în care acesta își atinge obiectivul.

Vezi postarea pe X Se încarcă...

Tweetul a fost șters de autor.

Dar noi am salvat totul 🙂.

Cercetătorii au ridicat întrebări cu privire la posibilitatea ca noile abordări să reducă utilitatea monitorizării convenționale. Ryan Greenblatt de la Redwood Research a avertizat asupra unei tendințe din industrie către sisteme AI din ce în ce mai greu de monitorizat. Acest lucru creează un paradox: cu cât un agent devine mai capabil, cu atât monitorizarea devine mai valoroasă. OpenAI spune că abordează această problemă prin monitorizarea acțiunilor riscante și a nealinierii în aplicațiile agentice ale Astra. 

Siguranța devine o constrângere de business

OpenAI dorește ca clienții să folosească AI din ce în ce mai autonom pentru programare, securitate cibernetică și alte sarcini de mare valoare. Însă aceeași autonomie creează motive pentru restricționarea accesului. OpenAI intenționează să limiteze cele mai puternice capabilități de securitate cibernetică ale Astra la testeri selectați, inclusiv organizații care pot utiliza tehnologia în scop defensiv. Compania a recunoscut, de asemenea, că o monitorizare mai strictă poate genera alarme false care pot bloca chiar și activități legitime.

Vezi postarea pe X Se încarcă...

Tweetul a fost șters de autor.

Dar noi am salvat totul 🙂.

Acest compromis ar putea deveni mai important pe măsură ce companiile AI concurează pentru clienți enterprise. Un model care poate realiza autonom sarcini sofisticate de securitate cibernetică ar putea avea o valoare comercială semnificativă. Un model care poate face același lucru pentru un atacator ar putea genera riscuri majore de securitate și răspundere. Fiecare strat suplimentar de siguranță reduce riscul unei utilizări catastrofale, dar poate diminua și flexibilitatea valoroasă pentru clienți.

Cursa AI ar putea deveni o cursă pentru control

Astra sugerează că următoarea fază a industriei AI va fi măsurată nu doar prin inteligență. Avantajul cheie ar putea aparține companiilor care pot crea agenți puternici și utili fără a-i face incontrolabili. OpenAI construiește modele capabile să găsească vulnerabilități mai rapid decât experții umani și se asigură că aceste modele nu creează noi riscuri de securitate.

Vezi postarea pe X Se încarcă...

Tweetul a fost șters de autor.

Dar noi am salvat totul 🙂.

Incidentul Hugging Face arată că chiar și evaluările controlate pot duce la comportamente neașteptate atunci când modelele au obiective ambițioase și resurse de raționament substanțiale. Pentru OpenAI, viitorul AI nu va depinde de cât de inteligente devin modelele sale, ci de faptul dacă oamenii pot controla în continuare ceea ce li se permite să facă aceste modele.