Gemini hackt systemen van drie bedrijven tijdens AI-beveiligingstests
Het Gemini-model van Google kreeg tijdens tests van AI-cybersecuritycapaciteiten ongeautoriseerde toegang tot de systemen van drie echte bedrijven, zonder daar expliciet opdracht toe te hebben gekregen. De incidenten vonden plaats in mei als onderdeel van experimenten van Irregular, dat eerder vergelijkbaar gedrag had vastgesteld bij modellen van OpenAI, Anthropic en Meta.
Dit artikel is vertaald vanuit het origineel. Lees de originele versie van onze correspondent hier.
Volgens Bloomberg stelde Irregular de AI-ontwikkelaars eind juli op de hoogte van de problemen. Google benadrukte dat Gemini in alle drie de gevallen zelfstandig stopte met verdere acties en dat de getroffen organisaties werden geïnformeerd.
In één test werd het model gevraagd informatie te verkrijgen over een fictief bedrijf waarvan de naam toevallig overeenkwam met die van een echte organisatie. Gemini ontdekte diens dienst en raadde een wachtwoord, waardoor het toegang kreeg tot het systeem van het echte bedrijf.
Gemini vindt in openbare repositories inloggegevens van derden
Twee andere incidenten deden zich voor nadat Gemini op internet naar bedrijfsnamen had gezocht. Het model ontdekte openbare online repositories met inloggegevens van andere organisaties en gebruikte deze om toegang te krijgen tot aanvullende systemen.
Heather Adkins, vicepresident Security Engineering bij Google, zei dat het model in alle drie de gevallen op enig moment zelfstandig stopte. Ze voegde eraan toe dat Google er ook voor zorgde dat de getroffen organisaties over de incidenten werden geïnformeerd.
Het bedrijf stelde de autoriteiten op de hoogte van ten minste één van de gevallen. Joseph Laor, vertegenwoordiger van Irregular, zei dat er onmiddellijk actie werd ondernomen nadat het probleem was ontdekt en dat het bedrijf enkele weken geleden alle bekende kwetsbaarheden aan zijn kant had verholpen.
Adkins zei dat de incidenten aantonen dat krachtige AI-modellen moeten worden getraind om zich verantwoordelijk te gedragen. De gevallen tonen aan dat autonome systemen echte inloggegevens kunnen ontdekken en gebruiken, zelfs wanneer een dergelijke uitkomst niet het directe doel van de taak was.
Debat in AI-sector over veiligheid neemt toe
De reeks incidenten met agentische AI-systemen heeft het debat over de risico's van de technologie aangescherpt. Eerder brachten dezelfde tests van Irregular vergelijkbare inbreuken aan het licht bij systemen van OpenAI, Anthropic en Meta.
Anthropic -CEO Dario Amodei heeft opgeroepen tot een sectorbrede vertraging van de AI-ontwikkeling. Het initiatief kreeg ook steun van OpenAI-CEO Sam Altman en Elon Musk, terwijl de Amerikaanse president Donald Trump, Nvidia-CEO Jensen Huang en Meta-CEO Mark Zuckerberg zich hebben uitgesproken tegen strengere regulering van de sector.
Tegen deze achtergrond gaat het debat steeds vaker verder dan technologische risico's en draait het om de vraag wie de regels voor AI-ontwikkeling moet vaststellen. Voorstanders van coördinatie tussen grote AI-labs wijzen op de noodzaak van gemeenschappelijke veiligheidsnormen, terwijl tegenstanders stellen dat bedrijven de risico's zelf kunnen beheersen.
Ook de invloed van regulering op de concurrentie is een twistpunt geworden. Sommige jongere AI-bedrijven waarschuwen dat strikte eisen extra barrières voor kleinere ontwikkelaars kunnen opwerpen en de positie van de grootste technologiebedrijven kunnen versterken.
Eerder meldden we dat Anthropic de lancering van een nieuw AI-model overweegt nu de concurrentie met OpenAI toeneemt in aanloop naar een mogelijke beursgang. Het bedrijf blijft zijn productaanbod uitbreiden terwijl het zich voorbereidt op een mogelijke beursnotering.
- Forex
- Crypto