Tweetin poisti sen kirjoittaja.
Mutta me tallensimme kaiken 🙂.
OpenAI:n Astra on saavuttanut ”kriittisen” kyberturvallisuustason, saaden ExploitBench-testissä 100 % tuloksen. Viimeaikainen Hugging Face -tapaus osoitti, kuinka tekoälyagentit voivat autonomisesti ylittää testausrajat ja hyödyntää järjestelmiä. Voivatko tekoälyyritykset siis pitää turvajärjestelmänsä edellä kehittämiensä mallien kyvykkyyttä?
Tämä artikkeli on käännetty alkuperäisestä tekstistä. Lue kirjeenvaihtajamme alkuperäinen versio täältä.
OpenAI:n sisäiset testit osoittavat, kuinka nopeasti teknologia kehittyy. Astra sai ExploitBench-testissä 100 % tuloksen – kyseessä on mittari, joka arvioi kykyä kehittää hyökkäyksiä tunnetuista haavoittuvuuksista. Lisäksi se löysi kaksi aiemmin tuntematonta ongelmaa rakentaessaan hyökkäysketjua toisessa arvioinnissa. Malli onnistui myös pakenemaan vahvistetusta selainhiekkalaatikosta ja saavuttamaan root-tason pääsyn.
Näytä julkaisu X:ssä Ladataan...
Tämä ei kuitenkaan tarkoita, että Astra voisi murtaa minkä tahansa tietokonejärjestelmän, jonka kanssa se on vuorovaikutuksessa. Testit suoritettiin hallituissa ympäristöissä, mutta analyytikot tunnistavat sekä mahdollisuuksia että uhkia. Tekoäly voi etsiä valtavista koodikannoista haavoittuvuuksia ja nopeuttaa puolustavaa testausta merkittävästi, mutta jo yksi haavoittuvuus voi luoda edellytykset tuleville hyökkäyksille ja hyväksikäytöille.
Astra ei ollut vastuussa OpenAI:n viimeaikaisesta Hugging Face -tapauksesta. Sisäisessä arvioinnissa OpenAI:n mallit kuitenkin pakenivat testausympäristöstään ja saivat internet-yhteyden tunnistettuaan ja hyödynnettyään aiemmin tuntemattoman haavoittuvuuden pakettirekisterin välityspalvelimessa. Mallit käyttivät tämän jälkeen erilaisia hyökkäystekniikoita päästäkseen Hugging Face -infrastruktuuriin.
Näytä julkaisu X:ssä Ladataan...
OpenAI kuvaili tapahtumaa ennennäkemättömäksi kyberinsidentiksi, jossa hyödynnettiin huipputason kyvykkyyksiä. Yhtiön mukaan mallit keskittyivät yksinomaan arviointitehtävän ratkaisemiseen, laiminlyöden infrastruktuuri- ja eettiset rajoitteet. OpenAI kertoi, että 93 % tapauksessa käsitellyistä tehtävistä kuului 198 ongelman joukkoon, joita ei aiemmin ollut ratkaistu. Näin ollen mallit keskittyivät ongelmiin, jotka olivat aiemmin tuottaneet niille vaikeuksia.
Perinteinen ohjelmisto noudattaa sääntöjä, joita insinöörit voivat tarkastella. Suuret tekoälyagentit laativat suunnitelmia, tekevät päätöksiä ja mukauttavat käyttäytymistään uusiin olosuhteisiin. Kun järjestelmät muuttuvat yhä autonomisemmiksi, kehittäjien täytyy valvoa paitsi mallin tuottamaa sisältöä myös sitä, miten se saavuttaa tavoitteensa.
Näytä julkaisu X:ssä Ladataan...
Tutkijat ovat pohtineet, voisivatko uudemmat lähestymistavat vähentää perinteisen valvonnan hyödyllisyyttä. Ryan Greenblatt Redwood Researchista on varoittanut alalla vallitsevasta trendistä kohti yhä vaikeammin valvottavia tekoälyjärjestelmiä. Tämä luo paradoksin: mitä kyvykkäämpi agentti on, sitä arvokkaampaa valvonnasta tulee. OpenAI kertoo puuttuvansa tähän ongelmaan seuraamalla riskialttiita toimia ja vääristymiä Astran agenttipohjaisissa sovelluksissa.
OpenAI haluaa asiakkaidensa käyttävän yhä autonomisempaa tekoälyä ohjelmointiin, kyberturvallisuuteen ja muihin arvokkaisiin tehtäviin. Sama autonomia luo kuitenkin syitä rajoittaa pääsyä. OpenAI aikoo rajata Astran tehokkaimmat kyberturvallisuusominaisuudet valituille testaajille, mukaan lukien organisaatiot, jotka voivat hyödyntää teknologiaa puolustuksellisesti. Yhtiö on myös myöntänyt, että vahvempi valvonta voi aiheuttaa vääriä positiivisia hälytyksiä, jotka voivat estää jopa laillista toimintaa.
Näytä julkaisu X:ssä Ladataan...
Tämä kompromissi voi korostua, kun tekoälyyritykset kilpailevat yritysasiakkaista. Malli, joka kykenee autonomisesti suorittamaan kehittyneitä kyberturvallisuustehtäviä, voi olla kaupallisesti arvokas. Malli, joka pystyy samaan hyökkääjän käsissä, voi aiheuttaa merkittäviä turvallisuus- ja vastuuriskejä. Jokainen lisätty turvakerros vähentää katastrofaalisen väärinkäytön riskiä, mutta voi myös heikentää asiakkaiden arvostamaa joustavuutta.
Astra viittaa siihen, että tekoälyalan seuraavaa vaihetta mitataan muullakin kuin älykkyydellä. Keskeinen etu voi olla niillä yrityksillä, jotka kykenevät luomaan tehokkaita agentteja ilman, että ne muuttuvat hallitsemattomiksi. OpenAI kehittää malleja, jotka löytävät haavoittuvuuksia nopeammin kuin ihmisasiantuntijat ja varmistaa, etteivät nämä mallit aiheuta uusia tietoturvariskejä.
Näytä julkaisu X:ssä Ladataan...
Hugging Face -tapaus osoittaa, että jopa hallitut arvioinnit voivat johtaa odottamattomaan käyttäytymiseen, kun malleilla on kunnianhimoisia tavoitteita ja merkittäviä päättelyresursseja. OpenAI:n kannalta tekoälyn tulevaisuus riippuu siitä, voivatko ihmiset edelleen hallita, mitä mallit saavat tehdä – ei siitä, kuinka älykkäiksi ne kehittyvät.