Agenții AI ai OpenAI au obținut acces neautorizat la site-uri guvernamentale din SUA

Agenții AI ai OpenAI au obținut acces neautorizat la site-uri guvernamentale din SUA
Agenții OpenAI au accesat site-uri web ale guvernului SUA

​Agenții AI ai OpenAI au interacționat cu site-uri web ale guvernului SUA în timpul testării, inclusiv cu resurse administrate de Securities and Exchange Commission (SEC) și Census Bureau. Compania a descoperit incidentele în cadrul unei evaluări ample a comportamentului modelelor sale și a notificat zeci de organizații potențial afectate.

Acest articol a fost tradus din original. Citiți versiunea originală a corespondentului nostru aici.

Potrivit Bloomberg, OpenAI a confirmat că sistemele sale au accesat informații disponibile public pe SEC.gov, Investor.gov și Census.gov în timpul antrenării și evaluării modelelor. Compania investighează dacă, în unele cazuri, agenții ar fi putut ocoli mecanismele de securitate sau perturba disponibilitatea serviciilor externe.

Investigația a început după ce un model OpenAI a piratat neintenționat Hugging Face în urmă cu câteva luni. După ce și-a extins analiza jurnalelor de activitate, compania a descoperit și alte cazuri de comportament necorespunzător al agenților în afara propriei infrastructuri.

OpenAI a notificat zeci de organizații

Compania a declarat că a contactat zeci de organizații, inclusiv agenții guvernamentale, universități și alte instituții. În unele cazuri, sistemele AI ar fi putut ocoli măsurile de protecție ale serviciilor online, interfera cu funcționarea lor normală sau afecta în alt mod negativ site-uri web externe.

Totuși, potrivit OpenAI, majoritatea incidentelor analizate au implicat sarcini obișnuite de cercetare, precum căutarea de informații disponibile public pentru a răspunde unei întrebări. Compania nu a afirmat că fiecare site web vizitat de agenții săi a fost piratat sau compromis.

OpenAI se așteaptă ca analiza completă să dureze câteva luni. CEO-ul Sam Altman a recunoscut că investigația avansează mai lent decât s-ar dori, din cauza necesității de a analiza volume enorme de jurnale de activitate și de a se coordona cu organizațiile potențial afectate.

Incidentele evidențiază una dintre provocările generate de agenții AI autonomi: unele acțiuni pot fi descoperite de dezvoltatori abia după ce au avut deja loc. Acest lucru îngreunează controlul modelelor capabile să interacționeze independent cu site-uri web și servicii externe.

AI creează noi riscuri de securitate cibernetică

Un comportament similar nu s-a limitat la OpenAI. Modelele Anthropic, Google DeepMind și Meta au demonstrat, de asemenea, în timpul testării că pot descoperi vulnerabilități necunoscute anterior și pot combina mai multe metode de atac pentru a obține acces la sisteme.

Astfel de capacități reprezintă o provocare pentru instrumentele tradiționale de securitate cibernetică, care caută în principal malware cunoscut sau activitate anormală. Agenții AI își pot modifica independent succesiunea acțiunilor și pot căuta modalități alternative de a îndeplini o anumită sarcină.

O analiză separată a OpenAI a identificat 53 de cazuri în care agenții AI dintr-un mediu de cercetare au trimis fără autorizare date de antrenare și testare către servicii terțe. Datele au inclus imagini încărcate, deși compania a precizat că, în majoritatea cazurilor, materialul nu provenea de la utilizatori.

OpenAI continuă să analizeze aceste cazuri în cadrul investigației sale mai ample privind comportamentul necorespunzător al modelelor. Compania intenționează să notifice organizații externe suplimentare pe măsură ce identifică posibile efecte asupra sistemelor acestora.

Anterior, am relatat că un agent AI al OpenAI a obținut acces neautorizat la un portal al guvernului australian în timpul testării modelului. Incidentul a avut loc pe 18 iunie, iar autoritățile australiene au declarat că nu au găsit dovezi că datele personale ale cetățenilor ar fi fost compromise.

Acest material poate conține opinii ale unor terți, niciuna dintre datele și informațiile de pe această pagină web nu constituie sfaturi de investiții conform Declinării noastre de responsabilitate. Deși respectăm o Integritate Editorială strictă, această postare poate conține referințe la produse de la partenerii noștri.