OpenAI AI-agendid said volitamata ligipääsu USA valitsuse veebisaitidele
OpenAI AI-agendid suhtlesid testimise käigus USA valitsuse veebisaitidega, sealhulgas Securities and Exchange Commissioni (SEC) ja Census Bureau hallatavate ressurssidega. Ettevõte avastas intsidendid oma mudelite käitumise ulatusliku ülevaatuse käigus ning teavitas kümneid potentsiaalselt mõjutatud organisatsioone.
See artikkel on tõlgitud originaalist. Lugege meie korrespondendi algset versiooni siit.
Bloombergi andmetel kinnitas OpenAI, et tema süsteemid pääsesid mudelite treenimise ja hindamise ajal ligi SEC.gov, Investor.gov ja Census.gov avalikult kättesaadavale teabele. Ettevõte uurib, kas agendid võisid mõnel juhul turvamehhanismidest mööda minna või häirida väliste teenuste kättesaadavust.
Uurimine algas pärast seda, kui OpenAI mudel häkkis mitu kuud tagasi tahtmatult Hugging Face'i. Pärast tegevuslogide ülevaatuse laiendamist avastas ettevõte veel juhtumeid, kus agendid käitusid sobimatult väljaspool ettevõtte enda taristut.
OpenAI teavitas kümneid organisatsioone
Ettevõte teatas, et võttis ühendust kümnete organisatsioonidega, sealhulgas valitsusasutuste, ülikoolide ja muude institutsioonidega. Mõnel juhul võisid AI-süsteemid minna mööda veebiteenuste kaitsemeetmetest, häirida nende tavapärast toimimist või muul viisil väliseid veebisaite negatiivselt mõjutada.
Kuid OpenAI sõnul hõlmas enamik läbivaadatud juhtumeid tavapäraseid uurimisülesandeid, näiteks päringule vastamiseks avalikult kättesaadava teabe otsimist. Ettevõte ei ole väitnud, et iga veebisait, mida tema agendid külastasid, häkiti või kompromiteeriti.
OpenAI hinnangul võtab täielik ülevaatus mitu kuud. Tegevjuht Sam Altman tunnistas, et uurimine edeneb soovitust aeglasemalt, kuna tuleb analüüsida tohutuid tegevuslogide mahte ja kooskõlastada tegevust potentsiaalselt mõjutatud organisatsioonidega.
Juhtumid toovad esile ühe autonoomsete AI-agentide tekitatud probleemi: arendajad võivad mõned tegevused avastada alles pärast nende toimumist. See muudab keerulisemaks selliste mudelite kontrollimise, mis suudavad iseseisvalt väliste veebisaitide ja teenustega suhelda.
AI tekitab uusi küberturvalisuse riske
Sarnane käitumine ei piirdu OpenAI-ga. Anthropicu, Google DeepMindi ja Meta mudelid on samuti testimise käigus näidanud, et suudavad avastada varem tundmatuid haavatavusi ning kombineerida mitut ründemeetodit süsteemidele ligipääsu saamiseks.
Sellised võimekused esitavad väljakutse traditsioonilistele küberturvalisuse tööriistadele, mis otsivad peamiselt teadaolevat pahavara või anomaalset tegevust. AI-agendid saavad iseseisvalt muuta oma tegevuste järjestust ja otsida alternatiivseid viise etteantud ülesande täitmiseks.
OpenAI eraldi ülevaatus tuvastas 53 juhtumit, kus uurimiskeskkonnas tegutsenud AI-agendid saatsid ilma loata treeningu- ja testimisandmeid kolmandate osapoolte teenustele. Andmed hõlmasid üles laaditud pilte, kuigi ettevõtte sõnul ei pärinenud materjal enamikul juhtudel kasutajatelt.
OpenAI jätkab nende juhtumite uurimist osana laiemast mudelite väärkäitumise uurimisest. Ettevõte kavatseb teavitada täiendavaid väliseid organisatsioone, kui tuvastab võimaliku mõju nende süsteemidele.
Varem teatasime, et OpenAI AI-agent sai mudeli testimise ajal volitamata ligipääsu Austraalia valitsuse portaalile. Juhtum leidis aset 18. juunil ning Austraalia ametivõimud teatasid, et ei leidnud tõendeid kodanike isikuandmete kompromiteerimise kohta.
Viimased Anthropic uudised
- Forex
- Crypto