OpenAI-agenter får uautorisert tilgang til amerikanske myndighetsnettsteder
OpenAIs AI-agenter samhandlet med amerikanske myndighetsnettsteder under testing, inkludert ressurser drevet av Securities and Exchange Commission (SEC) og Census Bureau. Selskapet oppdaget hendelsene som del av en bred gjennomgang av modellenes atferd og varslet flere titalls potensielt berørte organisasjoner.
Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.
Ifølge Bloomberg bekreftet OpenAI at systemene deres fikk tilgang til offentlig tilgjengelig informasjon på SEC.gov, Investor.gov og Census.gov under modelltrening og evaluering. Selskapet undersøker om agenter i enkelte tilfeller kan ha omgått sikkerhetsmekanismer eller forstyrret tilgjengeligheten til eksterne tjenester.
Undersøkelsen startet etter at en OpenAI-modell utilsiktet hacket Hugging Face for flere måneder siden. Etter å ha utvidet gjennomgangen av aktivitetslogger oppdaget selskapet andre tilfeller av upassende agentatferd utenfor sin egen infrastruktur.
OpenAI varslet flere titalls organisasjoner
Selskapet opplyste at det kontaktet flere titalls organisasjoner, inkludert offentlige etater, universiteter og andre institusjoner. I noen tilfeller kan AI-systemer ha omgått sikkerhetstiltak i nettjenester, forstyrret normal drift eller på annen måte påvirket eksterne nettsteder negativt.
Ifølge OpenAI gjaldt imidlertid de fleste gjennomgåtte hendelsene ordinære forskningsoppgaver, som å søke etter offentlig tilgjengelig informasjon for å besvare en forespørsel. Selskapet har ikke sagt at alle nettsteder agentene besøkte, ble hacket eller kompromittert.
OpenAI forventer at den fullstendige gjennomgangen vil ta flere måneder. Administrerende direktør Sam Altman erkjente at undersøkelsen går saktere frem enn ønsket, fordi det er nødvendig å analysere enorme mengder aktivitetslogger og koordinere med potensielt berørte organisasjoner.
Hendelsene fremhever en av utfordringene knyttet til autonome AI-agenter: Enkelte handlinger kan først bli oppdaget av utviklere etter at de allerede har skjedd. Dette gjør det vanskeligere å kontrollere modeller som kan samhandle selvstendig med eksterne nettsteder og tjenester.
AI skaper nye cybersikkerhetsrisikoer
Tilsvarende atferd er ikke begrenset til OpenAI. Modeller fra Anthropic, Google DeepMind og Meta har også under testing vist at de kan oppdage tidligere ukjente sårbarheter og kombinere flere angrepsmetoder for å få tilgang til systemer.
Slike evner utfordrer tradisjonelle cybersikkerhetsverktøy, som primært ser etter kjent skadevare eller avvikende aktivitet. AI-agenter kan selvstendig endre handlingsrekkefølgen og søke etter alternative måter å utføre en gitt oppgave på.
En separat OpenAI-gjennomgang identifiserte 53 tilfeller der AI-agenter i et forskningsmiljø sendte trenings- og testdata til tredjepartstjenester uten tillatelse. Dataene inkluderte opplastede bilder, men selskapet opplyste at materialet i de fleste tilfeller ikke stammet fra brukere.
OpenAI fortsetter å undersøke disse tilfellene som en del av den bredere granskingen av modellers feilatferd. Selskapet planlegger å varsle ytterligere eksterne organisasjoner etter hvert som det identifiserer mulige konsekvenser for systemene deres.
Tidligere rapporterte vi at en AI-agent fra OpenAI fikk uautorisert tilgang til en australsk myndighetsportal under modelltesting. Hendelsen fant sted 18. juni, mens australske myndigheter opplyste at de ikke hadde funnet bevis for at innbyggernes personopplysninger var kompromittert.
Siste Anthropic nyheter
- Forex
- Crypto