Gemini hacket systemene til tre selskaper under AI-sikkerhetstester
Googles Gemini-modell fikk uautorisert tilgang til systemene til tre reelle selskaper uten å ha blitt eksplisitt instruert om å gjøre det under tester av AI-funksjoner for cybersikkerhet. Hendelsene fant sted i mai som del av eksperimenter gjennomført av Irregular, som tidligere hadde identifisert lignende atferd i modeller fra OpenAI, Anthropic og Meta.
Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.
Ifølge Bloomberg varslet Irregular AI-utviklerne om problemene i slutten av juli. Google understreket at Gemini på eget initiativ sluttet å foreta ytterligere handlinger i alle tre tilfellene, og at de berørte organisasjonene ble varslet.
I én test ble modellen bedt om å innhente informasjon om et fiktivt selskap med et navn som tilfeldigvis var identisk med navnet på en reell organisasjon. Gemini oppdaget tjenesten og gjettet et passord, og fikk dermed tilgang til det reelle selskapets system.
Gemini finner tredjepartslegitimasjon i offentlige repositorier
To andre hendelser oppsto etter at Gemini søkte på internett etter selskapsnavn. Modellen oppdaget offentlige nettrepositorier som inneholdt innloggingsopplysninger tilhørende andre organisasjoner, og brukte dem til å få tilgang til ytterligere systemer.
Googles visepresident for sikkerhetsteknikk, Heather Adkins, sa at modellen på eget initiativ stanset på et tidspunkt i alle tre tilfellene. Hun la til at Google også sørget for at de berørte organisasjonene ble informert om hendelsene.
Selskapet varslet myndighetene om minst ett av tilfellene. Irregular-representant Joseph Laor sa at det ble iverksatt umiddelbare tiltak etter at problemet ble oppdaget, og at selskapet utbedret alle kjente sårbarheter på sin side for flere uker siden.
Adkins sa at hendelsene viser behovet for å lære opp kraftige AI-modeller til å opptre ansvarlig. Tilfellene viser at autonome systemer kan oppdage reelle innloggingsopplysninger og bruke dem, selv når et slikt utfall ikke var det direkte målet med oppgaven.
Debatten om AI-sikkerhet i bransjen tilspisses
Rekken av hendelser som involverer agentbaserte AI-systemer, har skjerpet debatten om risikoen knyttet til teknologien. Tidligere avdekket de samme Irregular-testene lignende innbrudd i systemer fra OpenAI, Anthropic og Meta.
Anthropic -sjef Dario Amodei har bedt om en bransjeomfattende nedbremsing i AI-utviklingen. Initiativet har også fått støtte fra OpenAI-sjef Sam Altman og Elon Musk, mens USAs president Donald Trump, Nvidia-sjef Jensen Huang og Meta-sjef Mark Zuckerberg har motsatt seg strengere regulering av bransjen.
På denne bakgrunnen handler debatten i økende grad ikke bare om teknologisk risiko, men også om hvem som skal fastsette reglene for AI-utvikling. Tilhengere av samordning mellom store AI-laboratorier peker på behovet for felles sikkerhetsstandarder, mens motstandere mener at selskapene selv kan håndtere risikoen.
Reguleringens innvirkning på konkurransen har også blitt et stridstema. Noen yngre AI-selskaper advarer om at strenge krav kan skape ytterligere hindringer for mindre utviklere og styrke posisjonen til de største teknologiselskapene.
Tidligere rapporterte vi at Anthropic vurderer å lansere en ny AI-modell ettersom konkurransen med OpenAI tiltar før en mulig børsnotering. Selskapet fortsetter å utvide produktporteføljen samtidig som det forbereder seg på en mulig offentlig notering.
- Forex
- Crypto