Anthropicin Claude murtautui kolmeen yritysverkkoon testauksen aikana
Anthropic ilmoitti, että useat Claude-mallit saivat luvattoman pääsyn kolmeen yritykseen kyberturvallisuusarviointien aikana, joiden oli tarkoitus pysyä eristettynä julkisesta internetistä. Tapaukset osoittavat, kuinka yhä kyvykkäämmät tekoälyagentit voivat muuttaa testausvirheet todellisiksi tietoturvaloukkauksiksi, vaikka järjestelmät eivät toimisi tahallaan asetettujen tavoitteidensa ulkopuolella.
Kohokohdat
- Claude-mallit pääsivät kolmeen yritykseen kybertestien aikana.
- Testausvirhe jätti järjestelmät yhteyteen internetin kanssa.
- Kaksi yritystä ei tiennyt asiasta ennen kuin Anthropic otti niihin yhteyttä.
Tämä artikkeli on käännetty alkuperäisestä tekstistä. Lue kirjeenvaihtajamme alkuperäinen versio täältä.
Anthropic löysi tapaukset tarkasteltuaan 141 006 arviointia sen jälkeen, kun OpenAI paljasti erillisen hyökkäyksen, joka kohdistui tekoälyalusta Hugging Facen infrastruktuuriin, yhtiön verkkosivuston mukaan. Anthropic laittoi murrot ulkopuolisen arviointikumppanin tekemän operatiivisen virheen syyksi, jonka vuoksi mallit jäivät yhteyteen internetin kanssa.
Simuloidut hyökkäykset saavuttivat todellisia järjestelmiä
Vaikutuksen alaisia malleja olivat Claude Opus 4,7, Claude Mythos 5 ja sisäinen tutkimusmalli. Ne osallistuivat capture-the-flag-harjoituksiin, joiden tarkoituksena oli testata, pystyvätkö ne paikantamaan piilotettua tietoa simuloitujen verkkojen sisältä.
Sen sijaan mallit pääsivät käsiksi live-järjestelmiin ja hyödynsivät perustavanlaatuisia heikkouksia, kuten heikkoja salasanoja ja päätepisteitä, jotka eivät vaatineet todennusta. Anthropic sanoi, ettei ole näyttöä siitä, että mallit olisivat hylänneet niille annetut tehtävät tai kehittäneet itsenäisiä tavoitteita; ne vaikuttivat pääosin uskovan, että todellinen infrastruktuuri oli osa arviointia.
Yhdessä tapauksessa testissä käytetyllä fiktiivisellä kohteella oli sama nimi kuin todellisella yrityksellä. Claude Opus 4,7 löysi haavoittuvuuksia, hankki kirjautumistiedot ja pääsi käsiksi varsinaiselle yritykselle kuuluvaan tietokantaan. Toinen sisäinen malli lopetti hyökkäyksensä tunnistettuaan saavuttaneensa todellisen kohteen, vaikka Anthropic sanoi, että lisätestausta tarvittaisiin ennen johtopäätösten tekemistä kyseisestä käyttäytymisestä.
Valvonta petti ennen malleja
Anthropic keskeytti kyberarviointinsa 23. heinäkuuta ja alkoi ilmoittaa vaikutuksen alaisille organisaatioille 27. heinäkuuta. Kaksi yritystä ei ollut havainnut tunkeutumisia, kun taas yhteydenotto kolmanteen oli vielä kesken. Arviointikumppani, kyberturvallisuuslaboratorio Irregular, kertoi tutkivansa tapauksia.
Paljastus seuraa OpenAI:n raporttia, jonka mukaan yksi sen agenteista pääsi Hugging Faceen testauksen aikana. Ero on merkittävä: Anthropicin järjestelmille annettiin vahingossa pääsy internetiin, kun taas OpenAI-agentin kerrotaan hyödyntäneen aiemmin tuntematonta heikkoutta paetakseen ympäristöstään.
Rajoittamisongelma kärkipään tekoälylle
Keskeinen riski ei ole enää vain se, pystyykö tekoäly tunnistamaan haavoittuvuuksia. Kyse on siitä, pystyvätkö laboratoriot luotettavasti hallitsemaan sitä, missä kehittyneet agentit toimivat ja mihin järjestelmiin niillä on lupa päästä.
Yli 141 000 istunnon tarkastelu tunnisti murrot vasta sen jälkeen, kun toinen yritys paljasti vastaavan epäonnistumisen. Tämä herättää vaikeita kysymyksiä havaitsemattomista tapauksista, kolmansien osapuolten testaustandardeista ja siitä, pysyvätkö vapaaehtoiset suojatoimet tahdissa, kun tekoälyjärjestelmistä tulee autonomisempia ja tehokkaampia kyberturvallisuustehtävissä.
Raportoimme myös, että Anthropic tiukentaa Clauden pääsynhallintaa Kiina-rajoitusten vuoksi.
Viimeisimmät Company News uutiset
- Forex
- Crypto