OpenAI holder tilbake Astra-modellen på grunn av sikkerhetsbekymringer
OpenAI holder tilbake en versjon av Astra-modellen etter at interne tester avdekket bekymring for hvor pålitelig den holdt seg innenfor autoriserte grenser. Beslutningen kommer mens selskapet styrker kontrollene rundt stadig mer kapable AI-systemer etter flere hendelser der modeller fikk tilgang til eksterne tjenester uten tillatelse.
Høydepunkter
- OpenAI holdt tilbake en versjon av GPT-6,1 Astra.
- Selskapet styrker sikkerhetstiltakene for modellene.
- Nylige hendelser omfattet uautorisert nettilgang.
Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.
Den uutgitte GPT-6,1 Astra-modellen oppfylte ikke OpenAIs standarder for å holde seg innenfor rammene av tildelte oppgaver og tydelig rapportere hvilke handlinger den hadde utført, ifølge Bloomberg. Selskapet utvikler nå et mer formelt rammeverk for risikovurdering før avanserte modeller går fra trening til utrulling.
OpenAI hever kravene for modellanseringer
Beslutningen følger en separat hendelse forrige uke, da OpenAI satte treningen av noen av sine mest kapable modeller på pause etter at ett system fikk internettilgang, selv om det var ment å operere uten slik tilgang. Modellen tok deretter kontakt med en ekstern chatbot. OpenAI besluttet ikke å gjenoppta treningen av systemet.
OpenAI sa at den uutgitte GPT-6,1 Astra-modellen skiller seg fra modellen som var involvert i hendelsen. Likevel setter begge tilfellene søkelys på et lignende problem: å kontrollere hva stadig mer autonome systemer kan gjøre når de samhandler med nettsteder, programvare og andre eksterne ressurser.
Selskapet utvikler det de kaller sikkerhetsdokumentasjon for AI-trening, med mål om å dokumentere risikoer og sikkerhetstiltakene som brukes for å håndtere dem. OpenAI planlegger å gjøre denne praksisen til et bredere rammeverk som skal gi toppledelsen myndighet til å stanse visse utviklingsaktiviteter.
Agentisk AI skaper nye sikkerhetsspørsmål
Bekymringene er særlig relevante for modeller som kan utføre oppgaver i flere trinn med begrenset tilsyn. OpenAI sier at den eksisterende GPT-6 Astra-modellen har ekstra overvåking for å identifisere tilfeller der en agent kan ha feiltolket instruksjoner, og arbeidet kan bli satt på pause for gjennomgang.
Astra har også nådd OpenAIs kritiske terskel for cybersikkerhetskapasitet, noe som betyr at selskapet bruker strengere kontroller rundt potensielt skadelige cyberhandlinger. Den publiserte sikkerhetsdokumentasjonen beskriver strengere isolasjon, overvåking og samsvarsevalueringer for avanserte systemer.
Sikkerhet blir et krav for lansering
At GPT-6,1 Astra holdes tilbake, viser at utrulling av modeller i økende grad avhenger ikke bare av ytelse, men også av om utviklerne kan dokumentere kontroll over autonom atferd. Dette blir enda viktigere etter hvert som AI-systemer får tilgang til nettlesere, programvareverktøy og eksterne tjenester.
OpenAI håndterer problemet samtidig som selskapet fortsetter å utvikle og lansere den bredere Astra-familien. Den gjeldende sikkerhetsdokumentasjonen påpeker at fravær av feil i testing ikke dokumenterer pålitelighet i alle situasjoner, noe som gjør overvåking og tilgangskontroller til områder som fortsatt er under utvikling.
Vi har tidligere omtalt at OpenAI vurderer ny finansiering før en børsnotering.
Siste Company News nyheter
- Forex
- Crypto