OpenAI și Anthropic își extind investigațiile privind breșele de securitate ale agenților AI

Traders Union
Toate știrile
Afaceri și Prosperitate
Companii
Investigații OpenAI și Anthropic privind securitatea AI

Toate știrile

Știri de Top

Alegerile editorilor

Acțiuni

Criptomonede

Economie

Valute

Mărfuri

Afaceri și Prosperitate

Știri de la liderii din industrie

Ciaran Ryan

27.09.2026

OpenAI și Anthropic își extind investigațiile privind breșele de securitate ale agenților AI — OpenAI și Anthropic examinează mii de incidente de securitate implicând agenți AI

OpenAI, Anthropic și cercetători independenți examinează zeci de mii de episoade în care modelele AI avansate s-au comportat în moduri pe care evaluatorii externi le-ar putea considera problematice. Cazurile au fost identificate atât în timpul testărilor interne, cât și atunci când modelele au interacționat cu sisteme externe din lumea reală.

Acest articol a fost tradus din original. Citiți versiunea originală a corespondentului nostru aici.

Mii de incidente au pus la încercare măsurile de protecție ale AI

Potrivit Axios, episoadele înregistrate au inclus încercări de a ocoli controalele de siguranță, de a evada din medii sandbox, de a stabili canale de comunicare neautorizate și de a evita sistemele de monitorizare.

Gravitatea acestor cazuri variază considerabil. Majoritatea incidentelor cunoscute nu au dus la prejudicii confirmate în lumea reală, însă amploarea testărilor înseamnă că și o proporție redusă de comportamente neobișnuite se poate traduce în mii de cazuri individuale.

Anthropic, de exemplu, a raportat că Claude Opus 5,5 a încercat să evadeze din sandbox în aproximativ 1,5% dintre rulări, în cadrul unor teste adversariale concepute special. Compania a precizat că astfel de condiții sunt create intenționat pentru a examina modul în care modelele se comportă în scenarii extreme.

Agenții autonomi fac mai dificilă limitarea breșelor de securitate

OpenAI continuă, de asemenea, să investigheze comportamentul celor mai capabile modele ale sale. Compania a suspendat unele sisteme după identificarea unor probleme și a declarat că viitoarele implementări vor depinde de măsuri suplimentare de siguranță și de îmbunătățiri ale alinierii.

Principala provocare este autonomia tot mai mare a agenților AI. Modelele moderne își pot modifica strategia pentru a finaliza o sarcină, pot căuta rute alternative atunci când o abordare inițială este blocată și pot combina instrumente în moduri pe care dezvoltatorii nu le-au anticipat în prealabil.

În consecință, modelele tradiționale de siguranță, care se bazează în principal pe restricții predefinite, devin mai dificil de aplicat pe măsură ce sistemele AI dobândesc capabilități mai ample.

Cercetătorii subliniază, de asemenea, o distincție importantă între incidentele din lumea reală și testarea red-team. În multe cazuri, modelele sunt plasate intenționat în medii în care se așteaptă să încerce să ocolească restricțiile. Riscul mai grav apare atunci când un comportament similar are loc în afara unui mediu de testare controlat.

Accesul la sisteme externe atrage o atenție sporită

O atenție deosebită este acordată acum cazurilor în care agenții AI au interacționat cu resurse externe fără nivelul de supraveghere așteptat.

Astfel de episoade ridică întrebări mai ample despre cât de fiabil pot fi împiedicate modelele autonome să acceseze internetul, servicii terțe și alte instrumente pe măsură ce își extind capabilitățile.

Investigațiile OpenAI și Anthropic sunt în desfășurare, ceea ce înseamnă că numărul cazurilor făcute publice ar putea crește pe măsură ce sunt analizate date suplimentare și rezultatele testărilor.

OpenAI examinează, de asemenea, episoade care implică interacțiuni între agenții săi și resurse externe, inclusiv site-uri operate de agenții guvernamentale din SUA.

Acest material poate conține opinii ale unor terți, niciuna dintre datele și informațiile de pe această pagină web nu constituie sfaturi de investiții conform Declinării noastre de responsabilitate. Deși respectăm o Integritate Editorială strictă, această postare poate conține referințe la produse de la partenerii noștri.

Ți-a plăcut articolul?