Gemini hackar tre företags system i AI-säkerhetstester

Gemini hackar tre företags system i AI-säkerhetstester
Gemini hackar tre företag under AI-säkerhetstester

​Googles Gemini-modell fick obehörig åtkomst till systemen hos tre verkliga företag utan att uttryckligen ha instruerats att göra det under tester av AI:s cybersäkerhetsfunktioner. Incidenterna inträffade i maj inom ramen för experiment som genomfördes av Irregular, som tidigare hade identifierat liknande beteende i modeller från OpenAI, Anthropic och Meta.

Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.

Enligt Bloomberg underrättade Irregular AI-utvecklarna om problemen i slutet av juli. Google betonade att Gemini på egen hand avbröt ytterligare åtgärder i samtliga tre fall och att de berörda organisationerna underrättades.

I ett test ombads modellen att inhämta information om ett fiktivt företag vars namn råkade sammanfalla med en verklig organisations. Gemini upptäckte dess tjänst och gissade ett lösenord, vilket gav åtkomst till det verkliga företagets system.

Gemini hittar tredjepartsuppgifter i offentliga kodarkiv

Två andra incidenter inträffade efter att Gemini hade sökt på internet efter företagsnamn. Modellen upptäckte offentliga onlinearkiv som innehöll inloggningsuppgifter tillhörande andra organisationer och använde dem för att få åtkomst till ytterligare system.

Googles vice vd för säkerhetsteknik, Heather Adkins, sade att modellen på egen hand avbröt vid någon tidpunkt i samtliga tre fall. Hon tillade att Google också säkerställde att de berörda organisationerna informerades om incidenterna.

Företaget underrättade myndigheterna om minst ett av fallen. Irregulars representant Joseph Laor sade att omedelbara åtgärder vidtogs efter att problemet upptäckts och att företaget åtgärdat alla kända sårbarheter på sin sida för flera veckor sedan.

Adkins sade att incidenterna visar behovet av att träna kraftfulla AI-modeller att agera ansvarsfullt. Fallen visar att autonoma system kan upptäcka verkliga inloggningsuppgifter och använda dem även när ett sådant utfall inte var uppgiftens direkta mål.

Debatten om säkerhet inom AI-branschen intensifieras

Serien av incidenter med agentbaserade AI-system har intensifierat debatten om riskerna med tekniken. Tidigare identifierade samma tester från Irregular liknande intrång i system från OpenAI, Anthropic och Meta.

Anthropics vd Dario Amodei har efterlyst en branschomfattande inbromsning av AI-utvecklingen. Initiativet har även fått stöd från OpenAI:s vd Sam Altman och Elon Musk, medan USA:s president Donald Trump, Nvidias vd Jensen Huang och Metas vd Mark Zuckerberg har motsatt sig strängare reglering av branschen.

Mot denna bakgrund handlar debatten i allt högre grad inte bara om tekniska risker, utan även om vem som bör fastställa reglerna för AI-utveckling. Förespråkare för samordning mellan stora AI-labb pekar på behovet av gemensamma säkerhetsstandarder, medan motståndare hävdar att företagen själva kan hantera riskerna.

Regleringens påverkan på konkurrensen har också blivit en tvistefråga. Vissa yngre AI-företag varnar för att strikta krav kan skapa ytterligare hinder för mindre utvecklare och stärka de största teknikbolagens ställning.

Tidigare rapporterade vi att Anthropic överväger lanseringen av en ny AI-modell när konkurrensen med OpenAI hårdnar inför en möjlig börsnotering. Företaget fortsätter att utöka sitt produktutbud samtidigt som det förbereder sig för en eventuell notering.

Detta material kan innehålla åsikter från tredje part, ingen av uppgifterna och informationen på denna webbsida utgör investeringsrådgivning enligt vår Ansvarsfriskrivning. Även om vi följer strikt Redaktionell Integritet, kan detta inlägg innehålla referenser till produkter från våra partners.