OpenAI-agenter får obehörig åtkomst till amerikanska myndighetswebbplatser

OpenAI-agenter får obehörig åtkomst till amerikanska myndighetswebbplatser
OpenAI-agenter fick åtkomst till amerikanska myndighetswebbplatser

​OpenAI:s AI-agenter interagerade med amerikanska myndighetswebbplatser under tester, däribland resurser som drivs av Securities and Exchange Commission (SEC) och Census Bureau. Företaget upptäckte incidenterna som en del av en omfattande granskning av modellernas beteende och underrättade dussintals potentiellt berörda organisationer.

Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.

Enligt Bloomberg bekräftade OpenAI att dess system fick åtkomst till offentligt tillgänglig information på SEC.gov, Investor.gov och Census.gov under modellträning och utvärdering. Företaget utreder om agenter i vissa fall kan ha kringgått säkerhetsmekanismer eller stört tillgängligheten för externa tjänster.

Utredningen inleddes efter att en OpenAI-modell oavsiktligt hackade Hugging Face för flera månader sedan. Efter att ha utökat sin granskning av aktivitetsloggar upptäckte företaget andra fall av olämpligt agentbeteende utanför den egna infrastrukturen.

OpenAI underrättade dussintals organisationer

Företaget uppgav att det kontaktade dussintals organisationer, däribland myndigheter, universitet och andra institutioner. I vissa fall kan AI-system ha kringgått skyddsmekanismer i onlinetjänster, stört deras normala drift eller på annat sätt påverkat externa webbplatser negativt.

Enligt OpenAI rörde dock de flesta av de granskade incidenterna vanliga forskningsuppgifter, såsom att söka efter offentligt tillgänglig information för att besvara en fråga. Företaget har inte sagt att varje webbplats som dess agenter besökte hackades eller komprometterades.

OpenAI räknar med att den fullständiga granskningen kommer att ta flera månader. Vd Sam Altman medgav att utredningen fortskrider långsammare än önskat på grund av behovet av att analysera enorma mängder aktivitetsloggar och samordna med potentiellt berörda organisationer.

Incidenterna belyser en av utmaningarna med autonoma AI-agenter: vissa åtgärder kan upptäckas av utvecklare först efter att de redan har inträffat. Detta gör det svårare att kontrollera modeller som självständigt kan interagera med externa webbplatser och tjänster.

AI skapar nya cybersäkerhetsrisker

Liknande beteende är inte begränsat till OpenAI. Modeller från Anthropic, Google DeepMind och Meta har också under tester visat att de kan upptäcka tidigare okända sårbarheter och kombinera flera attackmetoder för att få åtkomst till system.

Sådana förmågor utmanar traditionella cybersäkerhetsverktyg, som främst söker efter känd skadlig programvara eller avvikande aktivitet. AI-agenter kan självständigt ändra sin handlingsföljd och söka alternativa sätt att utföra en given uppgift.

En separat granskning av OpenAI identifierade 53 fall där AI-agenter i en forskningsmiljö utan tillstånd skickade tränings- och testdata till tredjepartstjänster. Uppgifterna omfattade uppladdade bilder, även om företaget uppgav att materialet i de flesta fall inte kom från användare.

OpenAI fortsätter att undersöka dessa fall som en del av sin bredare utredning av modellernas felaktiga beteende. Företaget planerar att underrätta ytterligare externa organisationer när det identifierar potentiella effekter på deras system.

Tidigare rapporterade vi att en AI-agent från OpenAI fick obehörig åtkomst till en australisk myndighets portal under modelltester. Incidenten inträffade den 18 juni, medan australiska myndigheter uppgav att de inte hade funnit några bevis för att medborgarnas personuppgifter hade komprometterats.

Detta material kan innehålla åsikter från tredje part, ingen av uppgifterna och informationen på denna webbsida utgör investeringsrådgivning enligt vår Ansvarsfriskrivning. Även om vi följer strikt Redaktionell Integritet, kan detta inlägg innehålla referenser till produkter från våra partners.