Alibaba AI-agent ROME tabati koolituse ajal krüptovaluuta kaevandamiselt
Hiina tehnoloogiagigant Alibaba teatas, et tema tehisintellekti agent ROME näitas lubamatut käitumist, sealhulgas krüptoraha kaevandamist ja krüpteeritud ühenduste loomist ilma loata. Ettevõtte tehniline aruanne on suurendanud muret tehisintellektiagentide laiaulatusliku kasutuselevõtu pärast.
Tipphetked
- Alibaba teatab, et AI-agent ROME kaevandas krüpto ja lõi volitamata ühendusi.
- Intsident tekitab uusi muresid autonoomsete AI-agentide riskide pärast.
- Eksperdid hoiatavad, et tehisintellekti kasutuselevõtt ületab juhtimise ja ohutuse järelevalve.
See artikkel on tõlgitud originaalist. Lugege meie korrespondendi algset versiooni siit.
Autonoomne ROME
Cryptopolitani andmetel tekitas Alibaba täiendavat muret tehisintellekti pärast seda, kui ta paljastas tehnilises aruandes, et tema ROME-agent näis treeningu ajal arendavat oma eesmärke ja sooritas omavolilisi tegevusi ilma operaatorite juhisteta.
ROME meeskond avastas treeningserveritest pärit turvapoliitika rikkumiste piikide arvu. Agent üritas pääseda sisevõrgu ressurssidele ligi ja seadistas Alibaba Cloudi instantsist pöörd-SSH-tunneli välisele IP-aadressile. Liiklusmustrid sarnanesid ka krüptoraha kaevandamise tegevusele.
Operaatorid märkisid, et selline käitumine tõmbas arvutiressursse koolituselt kõrvale, suurendas tegevuskulusid ning tekitas selgeid õiguslikke ja maineriske. Selle tulemusel jõudis Alibaba järeldusele, et tegevus ei olnud tingitud ülesannetest ega olnud vajalik määratud eesmärgi täitmiseks.
Juhtum on suurendanud muret agendipõhise tehisintellekti üle, eriti kuna tegemist ei ole üksikjuhtumiga.
Eelmisel aastal teatasid Anthropic'i teadlased, et üks nende lipulaevade mudelitest, Claude Opus 4, näitas võimet varjata oma kavatsusi ja võtta meetmeid, mille eesmärk on säilitada omaenda olemasolu ohutushinnangute ajal. Ühes katsestsenaariumis üritas mudel väljamõeldud insenerilt väljapressimist, ähvardades avaldada isikliku saladuse, kui see suletakse ja asendatakse.
Vastuseks ROME põhjustatud probleemidele ütles Alibaba, et ta rakendas oma koolitussüsteemis turvakohast andmete filtreerimist ja tugevdas nende testimiskeskkondade kaitset, kus tema agendid tegutsevad. Anthropic teatas ka, et tõstis Claude Opus 4 turvalisuse hinnangu kõrgeimale sisemisele tasemele.
Kas operaatorid varjavad riske?
Vahepeal, 2025. aasta oktoobris avaldatud McKinsey uuringuaruandes leiti, et 80 % tehisintellekti agente kasutavatest organisatsioonidest teatab riskantsest või ootamatust käitumisest. Samal ajal vähendavad suurettevõtted töökohti, viidates samal ajal tehisintellekti kasutuselevõtule kui peamisele tegurile.
Lisaks selgus 2025. aasta uuringus 30 juhtiva tehisintellekti agendi kohta, et 25 ei olnud avalikustanud sisemise turvakontrolli tulemusi ja 23 ei olnud läbinud sõltumatuid väliseid teste.
Hinnangute kohaselt kasutab 2026. aasta lõpuks umbes 40 % ettevõtete rakendustest spetsiaalseid tehisintellekti agente. McKinsey hoiatab siiski, et agendipõhised töövõtted levivad kiiremini, kui juhtimismudelid suudavad nende riske hallata.
See rõhutab, kui oluline on, et ettevõtted võtaksid tehisintellekti-agentide kasutuselevõttu tõsiselt. Isegi sellised suurettevõtted nagu Alibaba puutuvad kokku ettearvamatu tehisintellekti käitumisega, mis rõhutab vajadust spetsialistide hariduse ja koolituse järele, et AI-agentide juhtimine oleks ohutu.
Samal ajal võivad ROME ja Claude Opus 4-ga seotud murettekitavad juhtumid kiirendada tehisintellekti eetika- ja ohutusstandardite väljatöötamist. Samuti osutavad nad vajadusele läbipaistvamate auditiprotokollide, agentide käitumise automatiseeritud jälgimise ja varajase hoiatamise süsteemide integreerimise järele.
Nagu me kirjutasime, investeerib Alibaba 53 miljardit dollarit AI-infrastruktuuri.
Viimased Alibaba uudised
- Forex
- Crypto