Autor on selle säutsu kustutanud.
Aga me salvestasime kõik 🙂.
OpenAI Astra on jõudnud „kriitilise“ küberturbe tasemeni, saavutades ExploitBenchis 100% tulemuse. Hiljutine Hugging Face’i juhtum näitas, kuidas tehisintellekti agendid võivad autonoomselt töötades testimispiiridest väljuda ja süsteeme ära kasutada. Kas AI-ettevõtted suudavad oma turvasüsteemid hoida arendatavate võimekuste ees?
See artikkel on tõlgitud originaalist. Lugege meie korrespondendi algset versiooni siit.
OpenAI sisemised testid näitavad, kui kiiresti tehnoloogia areneb. Astra saavutas ExploitBenchis 100% tulemuse – see on võrdlusalus, mis mõõdab võimet arendada teadaolevatest haavatavustest lähtuvaid ärakasutusi. Samuti avastas mudel teises hindamises kaks varem tundmatut probleemi, kui koostas ärakasutuste ahelat. Mudel pääses ka tugevalt piiratud brauseri liivakastist välja ja sai root-õigused.
Vaata postitust X-is Laadimine...
See ei tähenda siiski, et Astra suudaks kompromiteerida iga arvutisüsteemi, millega ta kokku puutub. Testid viidi läbi kontrollitud keskkondades, kuid analüütikud näevad nii võimalusi kui ka ohte. AI suudab tohutuid koodibaase kiiresti haavatavuste suhtes läbi otsida ja oluliselt kiirendada kaitsetestimist, kuid isegi üks haavatavus võib luua tingimused tulevasteks rünnakuteks ja ärakasutusteks.
Astra ei olnud seotud OpenAI hiljutise Hugging Face’i juhtumiga. Kuid sisemise hindamise käigus pääsesid OpenAI mudelid oma testimiskeskkonnast välja ja said internetiühenduse, tuvastades ja ära kasutades varem tundmatut haavatavust pakiregistri proksis. Seejärel kasutasid mudelid erinevaid ründeviise, et pääseda Hugging Face’i infrastruktuurile ligi.
Vaata postitust X-is Laadimine...
OpenAI kirjeldas juhtunut kui pretsedenditut küberintsidenti, milles kasutati tipptasemel võimekusi. Ettevõtte sõnul keskendusid mudelid ainult hindamisülesande lahendamisele, jättes infrastruktuuri ja eetilised piirangud tähelepanuta. OpenAI teatas, et 93% juhtumi käigus käsitletud ülesannetest pärines 198 probleemist, mida polnud varem kunagi lahendatud. Seega keskendusid mudelid probleemidele, mis olid neile varem raskusi valmistanud.
Traditsiooniline tarkvara järgib reegleid, mida insenerid saavad kontrollida. Suured AI-agendid koostavad plaane, teevad otsuseid ja kohandavad oma käitumist uute oludega. Mida autonoomsemaks need süsteemid muutuvad, seda enam peavad arendajad jälgima mitte ainult mudeli väljundit, vaid ka seda, kuidas mudel oma eesmärgini jõuab.
Vaata postitust X-is Laadimine...
Teadlased on tõstatanud küsimusi, kas uuemad lähenemised võivad vähendada tavapärase jälgimise tõhusust. Ryan Greenblatt Redwood Researchist on hoiatanud tööstuse trendi eest, kus AI-süsteemid muutuvad üha raskemini jälgitavaks. See tekitab paradoksi: mida võimekam agent, seda olulisem on jälgimine. OpenAI sõnul tegeletakse selle probleemiga, jälgides riskantseid tegevusi ja kõrvalekaldeid Astra agentrakendustes.
OpenAI soovib, et kliendid kasutaksid üha autonoomsemat AI-d programmeerimiseks, küberturbeks ja muude kõrge väärtusega ülesannete jaoks. Kuid sama autonoomia annab põhjust ligipääsu piirata. OpenAI plaanib piirata Astra kõige võimsamaid küberturbevõimekusi valitud testijatele, sealhulgas organisatsioonidele, kes suudavad tehnoloogiat kaitseotstarbel kasutada. Ettevõte on tunnistanud ka seda, et tugevam jälgimine võib põhjustada valepositiivseid tulemusi, mis võivad blokeerida isegi seaduslikku tegevust.
Vaata postitust X-is Laadimine...
See kompromiss võib muutuda olulisemaks, kui AI-ettevõtted hakkavad konkureerima äriklientide pärast. Mudel, mis suudab autonoomselt teha keerukat kübertööd, võib olla äriliselt väärtuslik. Mudel, mis suudab sama teha ründaja kasuks, võib tekitada olulisi turva- ja vastutusriske. Iga täiendav turvakiht vähendab katastroofilise väärkasutuse riski, kuid võib vähendada ka paindlikkust, mis on klientidele oluline.
Astra viitab, et AI-tööstuse järgmine etapp ei mõõdu ainult intelligentsuse järgi. Võtmeeelis võib kuuluda ettevõtetele, kes suudavad luua võimsaid agente, mis on kasulikud, kuid mitte kontrollimatud. OpenAI arendab mudeleid, mis leiavad haavatavusi kiiremini kui inimspetsialistid, ja tagab, et need mudelid ei looks uusi turvariske.
Vaata postitust X-is Laadimine...
Hugging Face’i juhtum näitab, et isegi kontrollitud hindamised võivad viia ootamatu käitumiseni, kui mudelitel on ambitsioonikad eesmärgid ja suured arutlusressursid. OpenAI jaoks sõltub AI tulevik mitte sellest, kui intelligentseks mudelid muutuvad, vaid sellest, kas inimesed suudavad endiselt kontrollida, mida need mudelid teha tohivad.