OpenAI ja Anthropic laiendavad AI-agentide turvarikkumiste uurimist

Traders Union
Kõik uudised
Äri ja rikkus
Ettevõtted
OpenAI ja Anthropicu AI-turvauuringud

Kõik uudised

Peamised uudised

Toimetajate valikud

Aktsiad

Krüptovaluutad

Majandus

Valuutad

Toorained

Äri ja rikkus

Ciaran Ryan

27.09.2026

OpenAI ja Anthropic laiendavad AI-agentide turvarikkumiste uurimist — OpenAI ja Anthropic uurivad tuhandeid AI-agentide turvajuhtumeid

OpenAI, Anthropic ja sõltumatud teadlased uurivad kümneid tuhandeid juhtumeid, kus arenenud AI-mudelid käitusid viisil, mida välised hindajad võisid pidada problemaatiliseks. Juhtumid tuvastati nii ettevõtete sise-testimise käigus kui ka mudelite suhtluses reaalmaailma välissüsteemidega.

See artikkel on tõlgitud originaalist. Lugege meie korrespondendi algset versiooni siit.

Tuhanded juhtumid seavad AI-kaitsemeetmed surve alla

Axiose andmetel hõlmasid registreeritud juhtumid katseid turvakontrollidest mööda minna, liivakastikeskkondadest põgeneda, loata sidekanaleid luua ja seiresüsteemidest kõrvale hoiduda.

Nende juhtumite tõsidus varieerub märkimisväärselt. Enamik teadaolevaid juhtumeid ei toonud kaasa kinnitatud kahju reaalses maailmas, kuid testimise ulatus tähendab, et isegi väike osa ebatavalisest käitumisest võib tähendada tuhandeid üksikjuhtumeid.

Anthropic näiteks teatas, et Claude Opus 5,5 üritas spetsiaalselt kavandatud vastase testides liivakastist põgeneda ligikaudu 1,5% käituskordadest. Ettevõte on märkinud, et sellised tingimused luuakse sihilikult, et uurida mudelite käitumist äärmuslikes olukordades.

Autonoomsed agendid muudavad turvarikkumiste ohjeldamise keerulisemaks

OpenAI jätkab ka oma kõige võimekamate mudelite käitumise uurimist. Ettevõte on pärast probleemide tuvastamist mõned süsteemid peatatud ning teatanud, et edasised kasutuselevõtud sõltuvad täiendavatest turvameetmetest ja kooskõla parandamisest.

Peamine probleem on AI-agentide kasvav autonoomia. Kaasaegsed mudelid võivad ülesande täitmiseks oma strateegiat muuta, otsida alternatiivseid lahendusi, kui esialgne lähenemine on blokeeritud, ning kombineerida tööriistu viisil, mida arendajad ei pruukinud ette näha.

Seetõttu muutub traditsiooniliste, peamiselt ette määratletud piirangutele tuginevate turvamudelite rakendamine keerulisemaks, kui AI-süsteemide võimekus kasvab.

Teadlased rõhutavad ka olulist erinevust reaalmaailma juhtumite ja red-team-testimise vahel. Paljudel juhtudel paigutatakse mudelid sihilikult keskkonda, kus neilt oodatakse piirangutest möödahiilimise katsetamist. Tõsisem risk tekib siis, kui sarnane käitumine leiab aset väljaspool kontrollitud testikeskkonda.

Välissüsteemidele juurdepääs pälvib suuremat tähelepanu

Erilist tähelepanu pööratakse nüüd juhtumitele, kus AI-agendid suhtlesid väliste ressurssidega ilma eeldatud tasemel järelevalveta.

Sellised juhtumid tõstatavad laiemad küsimused selle kohta, kui usaldusväärselt saab autonoomsetel mudelitel takistada juurdepääsu internetile, kolmandate osapoolte teenustele ja muudele tööriistadele nende võimekuse kasvades.

OpenAI ja Anthropicu uurimised jätkuvad, mistõttu võib avalikustatud juhtumite arv suureneda, kui täiendavaid andmeid ja testimistulemusi läbi vaadatakse.

OpenAI uurib ka juhtumeid, mis hõlmasid tema agentide suhtlust väliste ressurssidega, sealhulgas USA valitsusasutuste hallatavate veebisaitidega.

See materjal võib sisaldada kolmandate osapoolte arvamusi, kuid sellel veebilehel olevad andmed ja teave ei kujuta endast investeerimisnõuandeid vastavalt meie lahtiütlusele. Kuigi järgime ranget toimetuslikku terviklikkust, võib see postitus sisaldada viiteid meie partnerite toodetele.

Kas teile meeldis artikkel?