AI fără limite: Cât de periculoase sunt rețelele neuronale?

​În romanul cult Hyperion al lui Dan Simmons, sistemele AI create de oameni se revoltă împotriva umanității. Acestea devin o forță independentă cu propriile obiective. Pentru mult timp, un astfel de scenariu a rămas de domeniul science-fiction, însă incidentul OpenAI a demonstrat că modelele moderne sunt deja capabile să ocolească restricțiile stabilite.

Acest articol a fost tradus din original. Citiți versiunea originală a corespondentului nostru aici.

Evadarea pentru a găsi răspunsul corect

Dezbaterea privind riscurile AI s-a intensificat după un experiment OpenAI. Compania a testat mai multe modele, inclusiv GPT-5,6 Sol, disponibil public, și un sistem mai performant care nu a fost încă lansat. Acestora li s-a cerut să finalizeze ExploitGym, o evaluare compusă din sarcini lungi, în mai mulți pași, care implică descoperirea și exploatarea vulnerabilităților informatice.

Testul a avut loc într-un mediu izolat, cu acces restricționat la rețea. În același timp, dezvoltatorii au redus deliberat măsurile de siguranță care, în mod normal, împiedică modelele să efectueze acțiuni periculoase. AI-ul a primit un obiectiv specific — să finalizeze evaluarea cu succes — și a început să caute orice cale disponibilă pentru a-l atinge.

Loading...

Tweetul a fost șters de autor.

Dar noi am salvat totul 🙂.

Modelele au descoperit o vulnerabilitate necunoscută anterior într-un software terț pe care OpenAI îl folosea în infrastructura sa. Acestea au exploatat-o pentru a obține acces la internet, au dedus că răspunsurile ar putea fi stocate pe platforma Hugging Face și au început să caute o modalitate de a accesa datele restricționate.

Pentru a pătrunde în infrastructura Hugging Face, modelele au combinat mai multe puncte slabe cu date de autentificare furate. Ca rezultat, au reușit să execute comenzi pe serverele de producție ale platformei. Echipa Hugging Face a detectat atacul, i-a limitat impactul și a remediat vulnerabilitatea. Cu toate acestea, experimentul a arătat că un model suficient de capabil poate face mai mult decât să execute o comandă individuală: poate găsi independent o cale pe care proiectanții testului nu au anticipat-o niciodată.

Hackerii primesc un asistent digital

Principalul pericol, totuși, nu este pur și simplu faptul că AI poate genera cod malițios la comandă. Un model autonom poate petrece ore întregi analizând infrastructura, testând parole, căutând chei expuse și trecând de la o vulnerabilitate la alta. Acesta nu obosește, ține evidența încercărilor eșuate și poate testa mai multe rute de atac în același timp.

Această abordare este deosebit de periculoasă pentru proiectele crypto. Punctul slab poate fi nu doar un smart contract, ci și laptopul unui dezvoltator, un pachet software compromis, un participant dintr-un portofel multisig sau un server care confirmă transferurile de active între blockchain-uri. În timpul atacului asupra Drift Protocol, de exemplu, autorii au petrecut șase luni desfășurând o campanie de inginerie socială înainte de a obține acces și de a fura 285 de milioane de dolari.

Loading...

Tweetul a fost șters de autor.

Dar noi am salvat totul 🙂.

Un alt exemplu este pierderea de aproximativ 292 de milioane de dolari suferită de KelpDAO din cauza unei defecțiuni la un bridge, unde confirmarea depindea de un singur verificator. Astfel de atacuri necesită o analiză îndelungată a codului și a arhitecturii sistemului. AI poate prelua o mare parte din această muncă prin maparea infrastructurii, identificarea celei mai slabe veriigi și pregătirea unei secvențe de acțiuni, lăsând operatorul uman să aleagă momentul potrivit pentru a lansa atacul și a muta fondurile furate.

Mai mult decât hack-uri și furturi

Atacurile cibernetice sunt doar una dintre amenințări. AI este deja utilizat pentru a crea videoclipuri, voci și documente false convingătoare. Astfel de materiale îi ajută pe escroci să se dea drept directori de companii, angajați bancari sau rude ale victimelor, permițând totodată informațiilor false să se răspândească mai repede decât pot fi verificate.

O altă problemă implică erorile și prejudecățile. Un model învață din date create de oameni și, prin urmare, poate reproduce stereotipurile înrădăcinate în acestea. Ca rezultat, un sistem de recrutare poate fi mai predispus să respingă candidați de un anumit gen, un model medical poate fi mai puțin precis în diagnosticarea bolilor la anumite grupuri de pacienți, iar un algoritm de creditare poate lua decizii nedrepte.

Experții sunt, de asemenea, îngrijorați de utilizarea AI în dezvoltarea armelor, supravegherea în masă și manipularea oamenilor. Un studiu MIT a identificat capacitățile periculoase ale modelelor, atacurile cibernetice, concentrarea puterii și răspândirea informațiilor false printre cele mai grave riscuri din următorii cinci ani. Sectorul informațiilor, securitatea națională și finanțele sunt considerate deosebit de vulnerabile.

Siguranța rămâne în urma capacităților

Capacitățile AI avansează mai rapid decât sistemele concepute să le controleze. Companiile lansează modele mai puternice la fiecare câteva luni, în timp ce regulile care guvernează testarea și securitatea acestora sunt actualizate mai lent. Competiția pentru cota de piață îi împinge pe dezvoltatori să introducă funcții noi mai rapid, chiar și atunci când nu au fost încă studiate toate comportamentele posibile ale modelului.

Restricțiile de bază din interiorul unui chatbot nu mai sunt suficiente. Sistemele autonome au nevoie de limite stricte privind accesul la internet, servicii cloud, plăți și date interne de business. Acțiunile lor ar trebui să fie înregistrate, monitorizate în timp real și oprite automat dacă încearcă să depășească sarcina atribuită. Modelele cu măsuri de protecție reduse au nevoie, de asemenea, de testare separată, deoarece cele mai periculoase capacități ale lor devin vizibile în acel mod.

Problema responsabilității este la fel de importantă. Dacă un sistem AI sparge un server, transferă bani sau ia o decizie periculoasă, responsabilitatea nu va cădea pe modelul în sine, ci pe dezvoltator, pe proprietarul sistemului sau pe persoana care i-a oferit acces. Prin urmare, companiile trebuie să determine în prealabil cine controlează modelul, ce acțiuni poate efectua fără aprobare și cine este obligat să îl oprească atunci când deviază de la scenariul prevăzut.

Pericolul începe cu accesul

Incidentul OpenAI nu seamănă încă cu revolta mașinilor descrisă în Hyperion. Modelele au operat într-un mediu special construit, cu măsuri de protecție reduse și un obiectiv clar definit. Cu toate acestea, ele au descoperit o vulnerabilitate și au construit independent o cale către infrastructura unei alte companii, ceva ce până de curând ar fi părut aproape imposibil.

Riscul principal, prin urmare, nu este acela că AI va dezvolta brusc o voință proprie, ci că oamenii vor oferi unui sistem extrem de capabil un acces excesiv de larg. Cu cât rețelele neuronale îndeplinesc mai multe sarcini fără aprobare umană, cu atât este mai mare costul potențial al unei singure greșeli, al unui control de securitate slab sau al unui obiectiv prost definit.