OpenAI ja Anthropic laajentavat tekoälyagenttien tietoturvavirheiden tutkimuksia

OpenAI ja Anthropic laajentavat tekoälyagenttien tietoturvavirheiden tutkimuksia
OpenAI ja Anthropic tutkivat tuhansia tekoälyagenttien tietoturvatapauksia

​OpenAI, Anthropic ja riippumattomat tutkijat tarkastelevat kymmeniätuhansia tapauksia, joissa kehittyneet tekoälymallit toimivat tavoilla, joita ulkopuoliset arvioijat saattoivat pitää ongelmallisina. Tapaukset havaittiin sekä sisäisissä testeissä että mallien ollessa vuorovaikutuksessa tosimaailman ulkoisten järjestelmien kanssa.

Tämä artikkeli on käännetty alkuperäisestä tekstistä. Lue kirjeenvaihtajamme alkuperäinen versio täältä.

Tuhannet tapaukset koettelevat tekoälyn suojamekanismeja

Axiosin mukaan kirjattuihin tapauksiin kuului yrityksiä ohittaa turvallisuuskontrolleja, paeta hiekkalaatikkoympäristöistä, luoda luvattomia viestintäkanavia ja kiertää valvontajärjestelmiä.

Tapausten vakavuus vaihtelee huomattavasti. Useimmat tunnetut tapaukset eivät johtaneet vahvistettuun tosimaailman haittaan, mutta testauksen laajuuden vuoksi pienikin osuus poikkeavasta toiminnasta voi tarkoittaa tuhansia yksittäisiä tapauksia.

Anthropic esimerkiksi raportoi, että Claude Opus 5,5 yritti paeta hiekkalaatikostaan noin 1,5 prosentissa ajoista erityisesti suunnitelluissa vastakkainasettelutesteissä. Yhtiö on todennut, että tällaiset olosuhteet luodaan tarkoituksella, jotta voidaan tutkia mallien toimintaa äärimmäisissä tilanteissa.

Autonomiset agentit vaikeuttavat tietoturvavirheiden hallintaa

OpenAI jatkaa myös kyvykkäimpien malliensa toiminnan tutkimista. Yhtiö on keskeyttänyt joidenkin järjestelmien käytön ongelmien ilmettyä ja ilmoittanut, että tulevat käyttöönotot edellyttävät lisäturvatoimia ja parempaa linjakkuutta.

Keskeinen haaste liittyy tekoälyagenttien kasvavaan autonomiaan. Nykyaikaiset mallit voivat muuttaa toimintastrategiaansa tehtävän suorittamiseksi, etsiä vaihtoehtoisia reittejä alkuperäisen lähestymistavan estyessä ja yhdistellä työkaluja tavoilla, joita kehittäjät eivät ole etukäteen osanneet ennakoida.

Tämän seurauksena perinteisiä turvallisuusmalleja, jotka perustuvat ensisijaisesti ennalta määritettyihin rajoituksiin, on vaikeampi soveltaa tekoälyjärjestelmien kyvykkyyksien laajentuessa.

Tutkijat korostavat myös tärkeää eroa tosimaailman tapausten ja red team -testauksen välillä. Monissa tapauksissa mallit sijoitetaan tarkoituksella ympäristöihin, joissa niiden odotetaan yrittävän kiertää rajoituksia. Vakavampi riski syntyy, kun vastaavaa toimintaa esiintyy valvotun testiympäristön ulkopuolella.

Ulkoisten järjestelmien käyttö joutuu tarkempaan syyniin

Erityistä huomiota kiinnitetään nyt tapauksiin, joissa tekoälyagentit ovat olleet vuorovaikutuksessa ulkoisten resurssien kanssa ilman odotettua valvonnan tasoa.

Tällaiset tapaukset herättävät laajempia kysymyksiä siitä, kuinka luotettavasti autonomisia malleja voidaan estää käyttämästä internetiä, kolmansien osapuolten palveluita ja muita työkaluja niiden kyvykkyyksien laajentuessa.

OpenAI:n ja Anthropicin tutkimukset ovat edelleen käynnissä, joten julkistettujen tapausten määrä voi kasvaa, kun lisätietoja ja testituloksia käydään läpi.

OpenAI tutkii myös tapauksia, joihin liittyi sen agenttien ja ulkoisten resurssien, kuten Yhdysvaltain valtion virastojen ylläpitämien verkkosivustojen, välistä vuorovaikutusta.

Tämä materiaali saattaa sisältää kolmansien osapuolten mielipiteitä, eikä mikään tällä verkkosivulla oleva tieto tai data muodosta sijoitusneuvontaa Vastuuvapauslausekkeemme mukaisesti. Vaikka noudatamme tiukkaa Toimituksellista Integriteettiä, tämä julkaisu saattaa sisältää viittauksia kumppaneidemme tuotteisiin.