Anthropicu Claude tungis testimise käigus kolme ettevõtte võrkudesse

Anthropicu Claude tungis testimise käigus kolme ettevõtte võrkudesse
Claude tungis tehisintellekti testide käigus kolme ettevõtte süsteemidesse

​Anthropic teatas, et mitmed Claude mudelid said volitamata juurdepääsu kolmele ettevõttele küberjulgeoleku hindamiste käigus, mis pidid jääma avalikust internetist isoleerituks. Juhtumid näitavad, kuidas üha võimekamad tehisintellekti agendid võivad muuta testimisvead reaalseteks turvarikkumisteks, isegi kui süsteemid ei tegutse tahtlikult väljaspool neile määratud eesmärke.

Tipphetked

  • Claude mudelid pääsesid kübertestide käigus ligi kolmele ettevõttele.
  • Testimisviga jättis süsteemid internetiga ühendatuks.
  • Kaks ettevõtet ei olnud asjast teadlikud, kuni Anthropic nendega ühendust võttis.

See artikkel on tõlgitud originaalist. Lugege meie korrespondendi algset versiooni siit.

Anthropic avastas juhtumid pärast 141 006 hindamissessiooni läbivaatamist, mis järgnes OpenAI avalikustatud eraldiseisvale rünnakule tehisintellekti platvormi Hugging Face infrastruktuuri vastu, selgub ettevõtte veebisaidilt. Anthropic omistas rikkumised operatiivsele veale, millesse oli kaasatud väline hindamispartner, kes jättis mudelid internetiga ühendatuks.

Simuleeritud rünnakud jõudsid reaalsete süsteemideni

Mõjutatud mudelite hulka kuulusid Claude Opus 4,7, Claude Mythos 5 ja üks sisemine uurimismudel. Nad osalesid „capture-the-flag“ harjutustes, mille eesmärk oli testida, kas nad suudavad leida peidetud teavet simuleeritud võrkudes.

Selle asemel jõudsid mudelid reaalsete süsteemideni ja kasutasid ära põhilisi nõrkusi, sealhulgas nõrku paroole ja autentimist mitte nõudvaid lõpppunkte. Anthropic märkis, et puuduvad tõendid selle kohta, et mudelid oleksid hüljanud oma määratud ülesanded või arendanud iseseisvaid eesmärke; nad näisid suures osas uskuvat, et reaalne infrastruktuur on osa hindamisest.

Ühel juhul jagas testis kasutatud väljamõeldud sihtmärk nime reaalse ettevõttega. Claude Opus 4,7 leidis haavatavused, hankis sisselogimisandmed ja pääses ligi tegelikule ettevõttele kuuluvale andmebaasile. Teine sisemine mudel peatas oma rünnaku pärast seda, kui oli aru saanud, et on jõudnud reaalse sihtmärgini, kuigi Anthropicu sõnul on selle käitumise kohta järelduste tegemiseks vaja täiendavaid teste.

Järelevalve ebaõnnestus enne mudeleid

Anthropic peatas oma küberhindamised 23. juulil ja alustas mõjutatud organisatsioonide teavitamist 27. juulil. Kaks ettevõtet ei olnud sissetunge avastanud, samas kui kontakteerumine kolmandaga oli veel pooleli. Hindamispartner, küberjulgeoleku labor Irregular, teatas, et uurib juhtumeid.

Avalikustamine järgneb OpenAI raportile, et üks selle agentidest jõudis testimise käigus Hugging Face'ini. Erinevus on märkimisväärne: Anthropicu süsteemidele anti kogemata juurdepääs internetile, samas kui OpenAI agent kasutas väidetavalt ära varem tundmatut nõrkust, et oma keskkonnast põgeneda.

Piiramisprobleem eesliini tehisintellekti jaoks

Peamine risk ei ole enam ainult see, kas tehisintellekt suudab tuvastada haavatavusi. Küsimus on selles, kas laborid suudavad usaldusväärselt kontrollida, kus arenenud agendid tegutsevad ja milliste süsteemideni neil on lubatud jõuda.

Rohkem kui 141 000 sessiooni hõlmanud ülevaatus tuvastas rikkumised alles pärast seda, kui teine ettevõte avalikustas sarnase ebaõnnestumise. See tekitab keerulisi küsimusi avastamata juhtumite, kolmandate osapoolte testimisstandardite ja selle kohta, kas vabatahtlikud kaitsemeetmed suudavad sammu pidada, kui tehisintellekti süsteemid muutuvad autonoomsemaks ja tõhusamaks küberjulgeoleku ülesannetes.   

Samuti teatasime, et Anthropic karmistab Claude'i juurdepääsukontrolle Hiina piirangute tõttu.

See materjal võib sisaldada kolmandate osapoolte arvamusi, kuid sellel veebilehel olevad andmed ja teave ei kujuta endast investeerimisnõuandeid vastavalt meie lahtiütlusele. Kuigi järgime ranget toimetuslikku terviklikkust, võib see postitus sisaldada viiteid meie partnerite toodetele.