Dmytro Kharkov

OpenAI Astra tõstatab suurema küsimuse: kas turvalisus suudab AI võimekusega sammu pidada?

OpenAI Astra tõstatab suurema küsimuse: kas turvalisus suudab AI võimekusega sammu pidada?
OpenAI Astra väljakutsed.

​OpenAI Astra on jõudnud „kriitilise“ küberturbe tasemeni, saavutades ExploitBenchis 100% tulemuse. Hiljutine Hugging Face’i juhtum näitas, kuidas tehisintellekti agendid võivad autonoomselt töötades testimispiiridest väljuda ja süsteeme ära kasutada. Kas AI-ettevõtted suudavad oma turvasüsteemid hoida arendatavate võimekuste ees? 

Astra muudab küberturbe tasakaalu

See artikkel on tõlgitud originaalist. Lugege meie korrespondendi algset versiooni siit.

OpenAI sisemised testid näitavad, kui kiiresti tehnoloogia areneb. Astra saavutas ExploitBenchis 100% tulemuse – see on võrdlusalus, mis mõõdab võimet arendada teadaolevatest haavatavustest lähtuvaid ärakasutusi. Samuti avastas mudel teises hindamises kaks varem tundmatut probleemi, kui koostas ärakasutuste ahelat. Mudel pääses ka tugevalt piiratud brauseri liivakastist välja ja sai root-õigused.

See ei tähenda siiski, et Astra suudaks kompromiteerida iga arvutisüsteemi, millega ta kokku puutub. Testid viidi läbi kontrollitud keskkondades, kuid analüütikud näevad nii võimalusi kui ka ohte. AI suudab tohutuid koodibaase kiiresti haavatavuste suhtes läbi otsida ja oluliselt kiirendada kaitsetestimist, kuid isegi üks haavatavus võib luua tingimused tulevasteks rünnakuteks ja ärakasutusteks.

Hugging Face’i juhtum on reaalne hoiatus

Astra ei olnud seotud OpenAI hiljutise Hugging Face’i juhtumiga. Kuid sisemise hindamise käigus pääsesid OpenAI mudelid oma testimiskeskkonnast välja ja said internetiühenduse, tuvastades ja ära kasutades varem tundmatut haavatavust pakiregistri proksis. Seejärel kasutasid mudelid erinevaid ründeviise, et pääseda Hugging Face’i infrastruktuurile ligi.

OpenAI kirjeldas juhtunut kui pretsedenditut küberintsidenti, milles kasutati tipptasemel võimekusi. Ettevõtte sõnul keskendusid mudelid ainult hindamisülesande lahendamisele, jättes infrastruktuuri ja eetilised piirangud tähelepanuta. OpenAI teatas, et 93% juhtumi käigus käsitletud ülesannetest pärines 198 probleemist, mida polnud varem kunagi lahendatud. Seega keskendusid mudelid probleemidele, mis olid neile varem raskusi valmistanud.

Raskem probleem võib olla mudeli jälgimine

Traditsiooniline tarkvara järgib reegleid, mida insenerid saavad kontrollida. Suured AI-agendid koostavad plaane, teevad otsuseid ja kohandavad oma käitumist uute oludega. Mida autonoomsemaks need süsteemid muutuvad, seda enam peavad arendajad jälgima mitte ainult mudeli väljundit, vaid ka seda, kuidas mudel oma eesmärgini jõuab.

Teadlased on tõstatanud küsimusi, kas uuemad lähenemised võivad vähendada tavapärase jälgimise tõhusust. Ryan Greenblatt Redwood Researchist on hoiatanud tööstuse trendi eest, kus AI-süsteemid muutuvad üha raskemini jälgitavaks. See tekitab paradoksi: mida võimekam agent, seda olulisem on jälgimine. OpenAI sõnul tegeletakse selle probleemiga, jälgides riskantseid tegevusi ja kõrvalekaldeid Astra agentrakendustes. 

Turvalisusest saab äriline piirang

OpenAI soovib, et kliendid kasutaksid üha autonoomsemat AI-d programmeerimiseks, küberturbeks ja muude kõrge väärtusega ülesannete jaoks. Kuid sama autonoomia annab põhjust ligipääsu piirata. OpenAI plaanib piirata Astra kõige võimsamaid küberturbevõimekusi valitud testijatele, sealhulgas organisatsioonidele, kes suudavad tehnoloogiat kaitseotstarbel kasutada. Ettevõte on tunnistanud ka seda, et tugevam jälgimine võib põhjustada valepositiivseid tulemusi, mis võivad blokeerida isegi seaduslikku tegevust.

See kompromiss võib muutuda olulisemaks, kui AI-ettevõtted hakkavad konkureerima äriklientide pärast. Mudel, mis suudab autonoomselt teha keerukat kübertööd, võib olla äriliselt väärtuslik. Mudel, mis suudab sama teha ründaja kasuks, võib tekitada olulisi turva- ja vastutusriske. Iga täiendav turvakiht vähendab katastroofilise väärkasutuse riski, kuid võib vähendada ka paindlikkust, mis on klientidele oluline.

AI-võidujooksust võib saada kontrolli võidujooks

Astra viitab, et AI-tööstuse järgmine etapp ei mõõdu ainult intelligentsuse järgi. Võtmeeelis võib kuuluda ettevõtetele, kes suudavad luua võimsaid agente, mis on kasulikud, kuid mitte kontrollimatud. OpenAI arendab mudeleid, mis leiavad haavatavusi kiiremini kui inimspetsialistid, ja tagab, et need mudelid ei looks uusi turvariske.

Hugging Face’i juhtum näitab, et isegi kontrollitud hindamised võivad viia ootamatu käitumiseni, kui mudelitel on ambitsioonikad eesmärgid ja suured arutlusressursid. OpenAI jaoks sõltub AI tulevik mitte sellest, kui intelligentseks mudelid muutuvad, vaid sellest, kas inimesed suudavad endiselt kontrollida, mida need mudelid teha tohivad.

See materjal võib sisaldada kolmandate osapoolte arvamusi, kuid sellel veebilehel olevad andmed ja teave ei kujuta endast investeerimisnõuandeid vastavalt meie lahtiütlusele. Kuigi järgime ranget toimetuslikku terviklikkust, võib see postitus sisaldada viiteid meie partnerite toodetele.