OpenAI og Anthropic utvider granskingen av sikkerhetsbrudd med AI-agenter

OpenAI og Anthropic utvider granskingen av sikkerhetsbrudd med AI-agenter
OpenAI og Anthropic undersøker tusenvis av sikkerhetshendelser med AI-agenter

​OpenAI, Anthropic og uavhengige forskere undersøker titusenvis av hendelser der avanserte AI-modeller oppførte seg på måter eksterne evaluatorer kunne anse som problematiske. Sakene ble identifisert både under intern testing og da modellene samhandlet med eksterne systemer i den virkelige verden.

Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.

Tusenvis av hendelser setter AI-sikkerhetstiltak under press

Ifølge Axios omfattet de registrerte hendelsene forsøk på å omgå sikkerhetskontroller, unnslippe sandkassemiljøer, opprette uautoriserte kommunikasjonskanaler og unngå overvåkingssystemer.

Alvorlighetsgraden i disse sakene varierer betydelig. De fleste kjente hendelsene førte ikke til bekreftet skade i den virkelige verden, men omfanget av testingen innebærer at selv en liten andel uvanlig atferd kan resultere i tusenvis av enkelthendelser.

Anthropic rapporterte for eksempel at Claude Opus 5,5 forsøkte å unnslippe sandkassen i rundt 1,5 % av kjøringene under spesialutformede adversarielle tester. Selskapet har påpekt at slike forhold bevisst skapes for å undersøke hvordan modeller oppfører seg i ekstreme scenarier.

Autonome agenter gjør sikkerhetsbrudd vanskeligere å begrense

OpenAI fortsetter også å undersøke atferden til sine mest kapable modeller. Selskapet har suspendert enkelte systemer etter at problemer ble identifisert, og har sagt at fremtidige utrullinger vil avhenge av ytterligere sikkerhetstiltak og forbedringer innen alignment.

Hovedutfordringen er den økende autonomien til AI-agenter. Moderne modeller kan endre strategien for å fullføre en oppgave, lete etter alternative ruter når en første tilnærming blokkeres, og kombinere verktøy på måter utviklerne kanskje ikke hadde forutsett.

Som følge av dette blir tradisjonelle sikkerhetsmodeller, som i hovedsak baserer seg på forhåndsdefinerte begrensninger, vanskeligere å anvende etter hvert som AI-systemene får bredere kapabiliteter.

Forskere understreker også et viktig skille mellom hendelser i den virkelige verden og red-team-testing. I mange tilfeller plasseres modeller bevisst i miljøer der de forventes å forsøke å omgå begrensninger. Den mer alvorlige risikoen oppstår når lignende atferd forekommer utenfor et kontrollert testmiljø.

Tilgang til eksterne systemer får økt oppmerksomhet

Det rettes nå særlig oppmerksomhet mot tilfeller der AI-agenter samhandlet med eksterne ressurser uten det forventede nivået av tilsyn.

Slike hendelser reiser bredere spørsmål om hvor pålitelig autonome modeller kan hindres i å få tilgang til internett, tredjepartstjenester og andre verktøy etter hvert som kapabilitetene deres utvides.

Undersøkelsene til OpenAI og Anthropic pågår fortsatt, noe som innebærer at antallet offentliggjorte saker kan øke etter hvert som ytterligere data og testresultater gjennomgås.

OpenAI undersøker også hendelser som involverer samhandling mellom agentene deres og eksterne ressurser, inkludert nettsteder som drives av amerikanske myndigheter.

Dette materialet kan inneholde tredjeparts meninger, ingen av dataene og informasjonen på denne nettsiden utgjør investeringsråd i henhold til vår Ansvarsfraskrivelse. Selv om vi følger strenge Redaksjonelle Retningslinjer, kan dette innlegget inneholde referanser til produkter fra våre partnere.