Gemini hacker tre virksomheders systemer under AI-sikkerhedstests
Googles Gemini-model fik uautoriseret adgang til systemerne hos tre virkelige virksomheder uden udtrykkeligt at være blevet instrueret i det under tests af AI's cybersikkerhedskapaciteter. Hændelserne fandt sted i maj som led i eksperimenter udført af Irregular, der tidligere havde identificeret lignende adfærd i modeller fra OpenAI, Anthropic og Meta.
Denne artikel er oversat fra originalen. Læs den oprindelige version af vores korrespondent her.
Ifølge Bloomberg underrettede Irregular AI-udviklerne om problemerne i slutningen af juli. Google understregede, at Gemini selvstændigt ophørte med at foretage yderligere handlinger i alle tre tilfælde, og at de berørte organisationer blev underrettet.
I én test blev modellen bedt om at indhente oplysninger om en fiktiv virksomhed, hvis navn tilfældigvis matchede en reel organisations. Gemini fandt dens tjeneste og gættede et adgangskode, hvilket gav adgang til den virkelige virksomheds system.
Gemini finder tredjepartsoplysninger i offentlige repositorier
To andre hændelser indtraf, efter at Gemini havde søgt på internettet efter virksomhedsnavne. Modellen fandt offentlige onlinerepositorier med loginoplysninger tilhørende andre organisationer og brugte dem til at få adgang til yderligere systemer.
Googles vicepræsident for sikkerhedsteknik, Heather Adkins, sagde, at modellen på et tidspunkt selvstændigt stoppede i alle tre tilfælde. Hun tilføjede, at Google også sikrede, at de berørte organisationer blev informeret om hændelserne.
Virksomheden underrettede myndighederne om mindst én af sagerne. Irregulars repræsentant Joseph Laor sagde, at der blev handlet straks, efter at problemet blev opdaget, og at virksomheden havde afhjulpet alle kendte sårbarheder på sin side for flere uger siden.
Adkins sagde, at hændelserne viser behovet for at træne stærke AI-modeller til at handle ansvarligt. Sagerne viser, at autonome systemer kan finde reelle loginoplysninger og bruge dem, selv når et sådant resultat ikke var opgavens direkte mål.
Debatten om AI-sikkerhed i branchen intensiveres
Rækken af hændelser med agentiske AI-systemer har intensiveret debatten om risiciene ved teknologien. Tidligere identificerede de samme Irregular-tests lignende kompromitteringer af systemer fra OpenAI, Anthropic og Meta.
Anthropic -chef Dario Amodei har opfordret til en branchedækkende opbremsning af AI-udviklingen. Initiativet har også fået støtte fra OpenAI-chef Sam Altman og Elon Musk, mens USA's præsident Donald Trump, Nvidia-chef Jensen Huang og Meta-chef Mark Zuckerberg har modsat sig strammere regulering af branchen.
På denne baggrund rækker debatten i stigende grad ud over teknologiske risici til spørgsmålet om, hvem der bør fastsætte reglerne for AI-udvikling. Tilhængere af koordinering mellem store AI-laboratorier peger på behovet for fælles sikkerhedsstandarder, mens modstandere hævder, at virksomhederne selv kan håndtere risiciene.
Reguleringens indvirkning på konkurrencen er også blevet et stridspunkt. Nogle nyere AI-virksomheder advarer om, at strenge krav kan skabe yderligere barrierer for mindre udviklere og styrke de største teknologikoncerners position.
Tidligere rapporterede vi, at Anthropic overvejer at lancere en ny AI-model, mens konkurrencen med OpenAI intensiveres forud for en potentiel børsnotering. Virksomheden fortsætter med at udvide sit produktsortiment, mens den forbereder sig på en mulig børsnotering.
- Forex
- Crypto