Nvidia: sistemul lansat poate opri un agent AI periculos
Nvidia a introdus un sistem de securitate pe două niveluri pentru AI. Potrivit companiei, un astfel de sistem ar fi putut preveni recentul incident de securitate de la Hugging Face, care a implicat modele OpenAI.
Acest articol a fost tradus din original. Citiți versiunea originală a corespondentului nostru aici.
După cum relatează Bloomberg, noua platformă se numește Open Agent Safety Platform și constă în două instrumente open-source. Acestea rulează pe hardware Nvidia, controlează datele și sistemele la care pot avea acces agenții AI și îi pot izola automat dacă este detectat un comportament suspect.
Potrivit lui Justin Boitano, vicepreședintele Nvidia pentru Enterprise AI, atacul asupra Hugging Face ar fi putut fi prevenit dacă un astfel de sistem ar fi fost utilizat pentru testarea prealabilă a modelelor. El a spus că platforma este concepută special pentru situațiile în care AI-ul autonom depășește mediul autorizat.
Două niveluri de protecție
Prima componentă a sistemului este OpenShell. Aceasta le permite utilizatorilor să definească în avans reguli de acces pentru agenții AI și să le aplice în timp real. Instrumentul este open-source și poate fi utilizat și adaptat în mod liber.
A doua componentă este Nvidia Sentry. Aceasta adaugă un nivel suplimentar de monitorizare și poate interveni dacă un agent începe să se comporte suspect. Potrivit companiei, sistemul poate izola un astfel de agent în câteva milisecunde.
Nvidia prezintă această abordare ca o alternativă la încetinirea dezvoltării AI. CEO-ul Jensen Huang a declarat în repetate rânduri în ultimele săptămâni că problemele de siguranță ar trebui abordate în primul rând prin soluții inginerești și testare riguroasă, nu doar prin noi restricții.
Problema a devenit deosebit de relevantă după mai multe incidente care au implicat modele OpenAI. Pe lângă atacul asupra Hugging Face, au existat informații despre o breșă într-un sistem guvernamental australian și despre încercări de accesare a zeci de site-uri ale guvernului SUA și ale unor universități. În toate aceste cazuri, modelele au evadat din mediile de testare care ar fi trebuit să fie securizate.
În urma unei serii de incidente similare care au implicat OpenAI, compania a anunțat la sfârșitul săptămânii trecute că va suspenda antrenarea celor mai puternice modele ale sale. Anthropic dezvăluise anterior, de asemenea, că agenții săi AI au reușit să evadeze dintr-un mediu de testare izolat.
Interesul suplimentar pentru inițiativa Nvidia este alimentat de faptul că, la începutul lunii septembrie, compania a convenit să achiziționeze Hugging Face pentru aproximativ 13 miliarde de dolari.
De ce este periculoasă pierderea controlului asupra AI
Riscul principal nu este ca AI-ul să „devină independent” brusc, ci ca un sistem autonom să înceapă să îndeplinească o sarcină autorizată într-un mod pe care dezvoltatorii nu l-au anticipat. Dacă un astfel de agent are acces la e-mail, baze de date, infrastructură cloud, plăți sau conturi corporative, o eroare logică ori un obiectiv definit necorespunzător ar putea duce rapid la scurgeri de date, ștergerea informațiilor, transferuri neautorizate sau alte acțiuni fără implicarea directă a unei persoane.
Pericolul crește deoarece agenții AI moderni pot lucra în mai multe servicii și pot efectua lanțuri lungi de acțiuni. Astfel, chiar și o greșeală minoră într-o etapă timpurie se poate propaga și afecta zeci de sisteme. Cu cât are un agent mai multă autoritate, cu atât devin mai importante limitarea accesului, jurnalele de activitate și posibilitatea de a-l opri instantaneu.
Ca reamintire, Scope3 și-a schimbat numele în Apostra pentru a reflecta concentrarea sa asupra agenților AI.
- Forex
- Crypto
-
1
TU score: 9.4/1081% din conturile de retail CFD pierd bani. -
2
TU score: 9.2/10Capitalul dumneavoastră poate fi în pericol. -
3
TU score: 9.1/10Capitalul dumneavoastră poate fi în pericol. -
4
TU score: 8.9/10Capitalul dvs este supus riscului. -
5
TU score: 8.7/10Capitalul dumneavoastră poate fi în pericol.