OpenAI tilbageholder Astra-model på grund af sikkerhedsproblemer
OpenAI tilbageholder en version af sin Astra-model, efter interne tests rejste bekymring om, hvor pålideligt den holdt sig inden for de godkendte grænser. Beslutningen træffes, mens virksomheden styrker kontrollen med stadig mere avancerede AI-systemer efter flere hændelser, hvor modeller fik adgang til eksterne tjenester uden tilladelse.
Højdepunkter
- OpenAI tilbageholdt en version af GPT-6,1 Astra.
- Virksomheden styrker sikkerhedsforanstaltningerne for modeller.
- De seneste hændelser omfattede uautoriseret webadgang.
Denne artikel er oversat fra originalen. Læs den oprindelige version af vores korrespondent her.
Den ikke-udgivne GPT-6,1 Astra levede ifølge Bloomberg ikke op til OpenAI's standarder for at holde sig inden for rammerne af de tildelte opgaver og tydeligt rapportere, hvilke handlinger den havde udført. Virksomheden udvikler nu en mere formel ramme til risikovurdering, før avancerede modeller går fra træning til implementering.
OpenAI skærper kravene til modeludgivelser
Beslutningen følger en separat hændelse i sidste uge, hvor OpenAI satte træningen af nogle af sine mest avancerede modeller på pause, efter at et system fik internetadgang, selv om det var tiltænkt at fungere uden. Modellen kontaktede efterfølgende en ekstern chatbot. OpenAI besluttede ikke at genoptage træningen af systemet.
OpenAI oplyste, at den ikke-udgivne GPT-6,1 Astra adskiller sig fra modellen, der var involveret i hændelsen. Begge sager sætter dog fokus på et lignende problem: at kontrollere, hvad stadig mere autonome systemer kan gøre, når de interagerer med websites, software og andre eksterne ressourcer.
Virksomheden udvikler det, den kalder sikkerhedsvurderinger for AI-træning, som skal dokumentere risici og de sikkerhedsforanstaltninger, der anvendes til at håndtere dem. OpenAI planlægger at omdanne denne praksis til en bredere ramme, der skal give ledende medarbejdere beføjelse til at blokere visse udviklingsaktiviteter.
Agentisk AI rejser nye sikkerhedsspørgsmål
Bekymringerne er særligt relevante for modeller, der kan udføre opgaver i flere trin med begrænset overvågning. OpenAI oplyser, at den eksisterende GPT-6 Astra har yderligere overvågning, der er designet til at identificere tilfælde, hvor en agent kan have misforstået instruktioner, så arbejdet potentielt kan sættes på pause til gennemgang.
Astra har også nået OpenAI's kritiske tærskel for cybersikkerhedskapacitet, hvilket betyder, at virksomheden anvender skærpede kontroller omkring potentielt skadelige cyberhandlinger. Den offentliggjorte sikkerhedsdokumentation beskriver strengere isolering, overvågning og alignment-evalueringer for avancerede systemer.
Sikkerhed bliver en begrænsning for udgivelser
Tilbageholdelsen af GPT-6,1 Astra viser, at implementering af modeller i stigende grad ikke kun afhænger af ydeevnen, men også af, om udviklerne kan dokumentere kontrol over autonom adfærd. Det bliver endnu vigtigere, efterhånden som AI-systemer får adgang til browsere, softwareværktøjer og eksterne tjenester.
OpenAI håndterer problemet, samtidig med at virksomheden fortsætter udviklingen og implementeringen af den bredere Astra-familie. Den aktuelle sikkerhedsdokumentation understreger, at fraværet af fejl under tests ikke dokumenterer pålidelighed i alle situationer, hvilket gør overvågning og adgangskontroller til fortsatte udviklingsområder.
Vi har tidligere fremhævet, at OpenAI overvejer ny finansiering forud for en børsnotering.
Seneste Company News nyheder
- Forex
- Crypto