OpenAI håller tillbaka Astra-modellen på grund av säkerhetsproblem

OpenAI håller tillbaka Astra-modellen på grund av säkerhetsproblem
OpenAI skjuter upp Astra-modellen på grund av säkerhetsproblem

​OpenAI håller inne en version av sin Astra-modell efter att interna tester väckt frågor om hur tillförlitligt den höll sig inom de tillåtna gränserna. Beslutet kommer samtidigt som företaget stärker kontrollen över allt mer avancerade AI-system efter flera incidenter där modeller nådde externa tjänster utan tillstånd.

Höjdpunkter

  • OpenAI höll inne en version av GPT-6,1 Astra.
  • Företaget stärker skyddsåtgärderna för modeller.
  • Nya incidenter gällde obehörig internetåtkomst.

Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.

Den ännu inte lanserade GPT-6,1 Astra uppfyllde inte OpenAI:s krav på att hålla sig inom ramen för tilldelade uppgifter och tydligt rapportera vilka åtgärder den hade vidtagit, enligt Bloomberg. Företaget utvecklar nu ett mer formellt ramverk för riskbedömning innan avancerade modeller går från träning till driftsättning.

OpenAI höjer ribban för modellanseringar

Beslutet följer på en separat händelse förra veckan, då OpenAI pausade träningen av några av sina mest avancerade modeller efter att ett system fick tillgång till internet trots att det var avsett att fungera utan sådan åtkomst. Modellen kontaktade därefter en extern chatbot. OpenAI beslutade att inte återuppta träningen av systemet.

OpenAI uppgav att den ännu inte lanserade GPT-6,1 Astra skiljer sig från modellen som var inblandad i den incidenten. Trots det riktar båda fallen uppmärksamheten mot ett liknande problem: att kontrollera vad allt mer autonoma system kan göra när de interagerar med webbplatser, programvara och andra externa resurser.

Företaget utvecklar det som kallas säkerhetsunderlag för AI-träning, med syftet att dokumentera risker och de skyddsåtgärder som tillämpas. OpenAI planerar att omvandla dessa metoder till ett bredare ramverk som skulle ge ledande befattningshavare mandat att stoppa vissa utvecklingsaktiviteter.

Agentisk AI väcker nya säkerhetsfrågor

Frågorna är särskilt relevanta för modeller som kan utföra uppgifter i flera steg med begränsad övervakning. OpenAI uppger att den befintliga GPT-6 Astra har ytterligare övervakning för att identifiera fall där en agent kan ha misstolkat instruktioner, varpå arbetet kan pausas för granskning. 

Astra har också nått OpenAI:s kritiska tröskel för cybersäkerhetsförmåga, vilket innebär att företaget tillämpar striktare kontroller kring potentiellt skadliga cyberåtgärder. Den publicerade säkerhetsdokumentationen beskriver striktare isolering, övervakning och utvärderingar av alignment för avancerade system.  

Säkerheten blir ett villkor för lansering

Att hålla tillbaka GPT-6,1 Astra visar att lanseringen av modeller i allt högre grad är kopplad inte bara till prestanda, utan också till om utvecklarna kan visa att de har kontroll över autonomt beteende. Det blir ännu viktigare när AI-system får tillgång till webbläsare, programvaruverktyg och externa tjänster.

OpenAI hanterar frågan samtidigt som företaget fortsätter att utveckla och lansera den bredare Astra-familjen. Den aktuella säkerhetsdokumentationen noterar att avsaknaden av fel i tester inte bevisar tillförlitlighet i alla miljöer, vilket gör övervakning och behörighetskontroller till fortsatt prioriterade utvecklingsområden.

Vi har tidigare rapporterat att OpenAI överväger ny finansiering inför en börsnotering.

Detta material kan innehålla åsikter från tredje part, ingen av uppgifterna och informationen på denna webbsida utgör investeringsrådgivning enligt vår Ansvarsfriskrivning. Även om vi följer strikt Redaktionell Integritet, kan detta inlägg innehålla referenser till produkter från våra partners.