Anthropic advarer om risikoer ved selvforbedrende AI

Anthropic advarer om risikoer ved selvforbedrende AI
Anthropic advarte om trusselen fra AI

Det USA-baserte AI-selskapet Anthropic har advart om at utviklingen av kunstig intelligens akselererer så raskt at AI-agenter i nær fremtid kan skape, trene og forbedre nye systemer uavhengig av menneskelig involvering. Mot dette bakteppet har selskapet tatt til orde for en nedbremsing i utviklingen av nevrale nettverk.

Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.

I et blogginnlegg skriver Marina Favaro, leder for Anthropic Institute, og Anthropic-medgründer Jack Clark at AI-agenter allerede er i stand til å kjøre kode på egen hånd, delegere timevis med arbeid til andre agenter og gradvis nærme seg punktet der de kan ta over hele utviklingssyklusen.

«Gjennom det meste av AI-historien har mennesker kontrollert hvert trinn i utviklingen. Men hos Anthropic delegerer vi en økende andel av AI-utviklingen til AI-systemene selv, noe som akselererer arbeidet vårt,» sa de.

Ifølge Favaro og Clark kan det, hvis denne trenden fortsetter og systemene får nok datakraft, til slutt oppstå AI som er i stand til fullstendig autonomt å designe og utvikle sin egen etterfølger.

Fokus på sikkerhet

Veksten i slike evner skaper bekymring for et scenario der AI kan bli smartere på egen hånd. I desember uttalte OpenAI at de studerer trygge måter å utvikle og distribuere stadig mer avanserte AI-systemer på, inkludert modeller som er i stand til rekursiv selvforbedring.

OpenAI sa at de ønsker at slike systemer konsekvent skal følge menneskelig intensjon i komplekse scenarier i den virkelige verden og under utfordrende forhold, unngå katastrofal atferd, forbli kontrollerbare og etterpøvbare, og være i tråd med menneskelige verdier.

De la til at når kvaliteten på menneskeskrevet og AI-skrevet kode når samme nivå, kan folk slutte å skrive kode helt og gå over til kun å gjennomgå den. Men hvis de ikke kan gjennomgå kode like raskt som Claude genererer den, vil menneskelig gjennomgang bli den største flaskehalsen i AI-utviklingen.

Hvorfor bremse AI-utviklingen

Favaro og Clark sa også at det ideelle scenarioet ville være å bremse utviklingen slik at samfunnet får mer tid til å forstå de «enorme» konsekvensene av denne teknologien.

I april nektet Anthropic å frigi sin AI-modell Claude Mythos til offentligheten på grunn av bekymringer knyttet til globale cybersikkerhetstrusler. Modellen kunne enkelt skape programvare-exploits, så selskapet besluttet å ikke gjøre den offentlig foreløpig.

Samme dag publiserte en gruppe teknologiledere, inkludert representanter fra Anthropic og OpenAI, et åpent brev som oppfordret lovgivere til å innføre strengere grenser for AI. Forfatterne advarte om at teknologien kan hjelpe ondsinnede aktører med å overvinne «kunnskapsbarrierene» som tidligere har hindret dem i å skape biologiske våpen.

Samtidig understreket de at det å bare bremse ned kan skape nye risikoer hvis det lar mindre forsiktige aktører ta igjen bransjelederne teknologisk. Uten en global koordineringsmekanisme vil selskaper og myndigheter bli tvunget til å ta vanskelige sikkerhetsbeslutninger under konkurransemessig og geopolitisk press.

Hva som gjør Claude verdifull

Anthropics flaggskipprodukt er AI-assistenten Claude. Det er en familie av språkmodeller designet for å jobbe med tekst, kode, data og komplekse oppgaver der ikke bare responshastighet betyr noe, men også sikkerhet, kontrollerbarhet og pålitelighet. Claude brukes som en universell assistent: den kan skrive og redigere tekster, analysere dokumenter, forklare komplekse emner, hjelpe med programmering, finne feil i kode og utarbeide sammendrag, e-poster, rapporter og annet arbeidsmateriell.

For bedrifter er Claude verdifull fordi den kan overta deler av rutinemessig intellektuelt arbeid. Den brukes i kundestøtte, analyse, programvareutvikling, juridiske og finansielle prosesser, markedsføring og interne bedriftsverktøy. Selskaper bruker Claude som en chat-assistent, et API for integrering i sine produkter og et verktøy for å automatisere oppgaver som krever rask behandling av store mengder informasjon og klare svar på naturlig språk.

Som en påminnelse, hjalp Claude med å gjenopprette passordet til en lommebok som inneholdt 5 Bitcoin.

Dette materialet kan inneholde tredjeparts meninger, ingen av dataene og informasjonen på denne nettsiden utgjør investeringsråd i henhold til vår Ansvarsfraskrivelse. Selv om vi følger strenge Redaksjonelle Retningslinjer, kan dette innlegget inneholde referanser til produkter fra våre partnere.