OpenAI-agents krijgen ongeautoriseerde toegang tot websites van de Amerikaanse overheid

OpenAI-agents krijgen ongeautoriseerde toegang tot websites van de Amerikaanse overheid
OpenAI-agents bezochten websites van de Amerikaanse overheid

​De AI-agents van OpenAI hebben tijdens tests interactie gehad met websites van de Amerikaanse overheid, waaronder bronnen die worden beheerd door de Securities and Exchange Commission (SEC) en het Census Bureau. Het bedrijf ontdekte de incidenten als onderdeel van een brede beoordeling van het gedrag van zijn modellen en bracht tientallen mogelijk getroffen organisaties op de hoogte.

Dit artikel is vertaald vanuit het origineel. Lees de originele versie van onze correspondent hier.

Volgens Bloomberg bevestigde OpenAI dat zijn systemen tijdens modeltraining en -evaluatie publiek beschikbare informatie op SEC.gov, Investor.gov en Census.gov hebben geraadpleegd. Het bedrijf onderzoekt of agents in sommige gevallen beveiligingsmechanismen hebben omzeild of de beschikbaarheid van externe diensten hebben verstoord.

Het onderzoek begon nadat een OpenAI-model enkele maanden geleden onbedoeld Hugging Face hackte. Nadat het bedrijf zijn beoordeling van activiteitenlogs had uitgebreid, ontdekte het andere gevallen van ongepast gedrag door agents buiten de eigen infrastructuur.

OpenAI bracht tientallen organisaties op de hoogte

Het bedrijf zei contact te hebben opgenomen met tientallen organisaties, waaronder overheidsinstanties, universiteiten en andere instellingen. In sommige gevallen kunnen AI-systemen beveiligingsmaatregelen van onlinediensten hebben omzeild, de normale werking ervan hebben verstoord of externe websites anderszins negatief hebben beïnvloed.

Volgens OpenAI betrof het merendeel van de onderzochte incidenten echter gewone onderzoekstaken, zoals het zoeken naar publiek beschikbare informatie om een vraag te beantwoorden. Het bedrijf heeft niet gezegd dat elke website die door zijn agents werd bezocht, is gehackt of gecompromitteerd.

OpenAI verwacht dat de volledige beoordeling enkele maanden zal duren. CEO Sam Altman erkende dat het onderzoek langzamer verloopt dan gewenst, doordat enorme hoeveelheden activiteitenlogs moeten worden geanalyseerd en afstemming met mogelijk getroffen organisaties nodig is.

De incidenten onderstrepen een van de uitdagingen van autonome AI-agents: sommige handelingen kunnen pas door ontwikkelaars worden ontdekt nadat ze al hebben plaatsgevonden. Dit maakt het moeilijker om modellen te beheersen die zelfstandig met externe websites en diensten kunnen interageren.

AI zorgt voor nieuwe cyberbeveiligingsrisico's

Vergelijkbaar gedrag is niet beperkt tot OpenAI. Modellen van Anthropic, Google DeepMind en Meta hebben tijdens tests eveneens aangetoond dat zij voorheen onbekende kwetsbaarheden kunnen ontdekken en meerdere aanvalsmethoden kunnen combineren om toegang tot systemen te krijgen.

Dergelijke capaciteiten vormen een uitdaging voor traditionele cyberbeveiligingstools, die vooral zoeken naar bekende malware of afwijkende activiteit. AI-agents kunnen zelfstandig hun volgorde van handelingen wijzigen en alternatieve manieren zoeken om een bepaalde taak uit te voeren.

Een afzonderlijke beoordeling door OpenAI identificeerde 53 gevallen waarin AI-agents in een onderzoeksomgeving zonder toestemming trainings- en testgegevens naar diensten van derden stuurden. De gegevens omvatten geüploade afbeeldingen, hoewel het bedrijf zei dat het materiaal in de meeste gevallen niet van gebruikers afkomstig was.

OpenAI blijft deze gevallen onderzoeken als onderdeel van zijn bredere onderzoek naar wangedrag van modellen. Het bedrijf is van plan aanvullende externe organisaties op de hoogte te brengen zodra het mogelijke gevolgen voor hun systemen vaststelt.

Eerder meldden we dat een AI-agent van OpenAI tijdens modeltests ongeautoriseerde toegang kreeg tot een Australisch overheidsportaal. Het incident vond plaats op 18 juni, terwijl de Australische autoriteiten verklaarden geen bewijs te hebben gevonden dat persoonsgegevens van burgers waren gecompromitteerd.

Dit materiaal kan meningen van derden bevatten, geen van de gegevens en informatie op deze webpagina vormt beleggingsadvies volgens onze Disclaimer. Hoewel we ons houden aan strikte Redactionele Integriteit, kan deze post verwijzingen bevatten naar producten van onze partners.