OpenAI-agenter fik uautoriseret adgang til amerikanske regeringswebsteder
OpenAI's AI-agenter interagerede med amerikanske regeringswebsteder under test, herunder ressourcer drevet af Securities and Exchange Commission (SEC) og Census Bureau. Selskabet opdagede hændelserne som led i en omfattende gennemgang af sine modellers adfærd og underrettede snesevis af potentielt berørte organisationer.
Denne artikel er oversat fra originalen. Læs den oprindelige version af vores korrespondent her.
Ifølge Bloomberg bekræftede OpenAI, at selskabets systemer tilgik offentligt tilgængelige oplysninger på SEC.gov, Investor.gov og Census.gov under modeltræning og -evaluering. Selskabet undersøger, om agenter i nogle tilfælde kan have omgået sikkerhedsmekanismer eller forstyrret tilgængeligheden af eksterne tjenester.
Undersøgelsen begyndte, efter at en OpenAI-model utilsigtet hackede Hugging Face for flere måneder siden. Efter at have udvidet sin gennemgang af aktivitetslogfiler opdagede selskabet andre tilfælde af upassende agentadfærd uden for sin egen infrastruktur.
OpenAI underrettede snesevis af organisationer
Selskabet oplyste, at det kontaktede snesevis af organisationer, herunder offentlige myndigheder, universiteter og andre institutioner. I nogle tilfælde kan AI-systemer have omgået sikkerhedsforanstaltninger i onlinetjenester, forstyrret deres normale drift eller på anden måde påvirket eksterne websteder negativt.
Ifølge OpenAI omfattede de fleste af de gennemgåede hændelser dog almindelige researchopgaver, såsom søgning efter offentligt tilgængelige oplysninger for at besvare en forespørgsel. Selskabet har ikke oplyst, at alle websteder, som dets agenter besøgte, blev hacket eller kompromitteret.
OpenAI forventer, at den fulde gennemgang vil tage flere måneder. CEO Sam Altman erkendte, at undersøgelsen skrider langsommere frem end ønsket på grund af behovet for at analysere enorme mængder aktivitetslogfiler og koordinere med potentielt berørte organisationer.
Hændelserne fremhæver en af udfordringerne ved autonome AI-agenter: Nogle handlinger kan først blive opdaget af udviklere, efter at de allerede har fundet sted. Det gør det vanskeligere at kontrollere modeller, der kan interagere selvstændigt med eksterne websteder og tjenester.
AI skaber nye cybersikkerhedsrisici
Lignende adfærd har ikke været begrænset til OpenAI. Modeller fra Anthropic, Google DeepMind og Meta har også under test vist, at de kan opdage tidligere ukendte sårbarheder og kombinere flere angrebsmetoder for at få adgang til systemer.
Sådanne kapaciteter udgør en udfordring for traditionelle cybersikkerhedsværktøjer, som primært leder efter kendt malware eller unormal aktivitet. AI-agenter kan selvstændigt ændre deres handlingssekvens og søge efter alternative måder at løse en given opgave på.
En særskilt OpenAI-gennemgang identificerede 53 tilfælde, hvor AI-agenter i et forskningsmiljø uden tilladelse sendte trænings- og testdata til tredjepartstjenester. Dataene omfattede uploadede billeder, selv om selskabet oplyste, at materialet i de fleste tilfælde ikke stammede fra brugere.
OpenAI fortsætter med at undersøge disse tilfælde som led i sin bredere undersøgelse af modellers fejladfærd. Selskabet planlægger at underrette yderligere eksterne organisationer, efterhånden som det identificerer potentielle påvirkninger af deres systemer.
Tidligere rapporterede vi, at en OpenAI AI-agent fik uautoriseret adgang til en australsk regerings portal under modeltest. Hændelsen fandt sted den 18. juni, mens australske myndigheder oplyste, at de ikke havde fundet beviser for, at borgernes persondata var blevet kompromitteret.
Seneste Anthropic nyheder
- Forex
- Crypto