Anthropic advarer om «eksistensiell risiko» ved AI før børsnotering

Anthropic advarer om «eksistensiell risiko» ved AI før børsnotering
Hvordan truer AI verden?

​Anthropic har for første gang formelt advart investorer om at teknologien deres kan innebære «eksistensiell risiko for menneskeheten». Advarselen kommer frem i selskapets prospekt for børsnoteringen, som de siste dagene har blitt distribuert til en begrenset gruppe partnere.

Denne artikkelen ble oversatt fra originalen. Les den opprinnelige versjonen av vår korrespondent her.

Selskapet, som ledes av Dario Amodei og verdsettes til nær 1 000B dollar, viet nesten en tredel av det omfattende dokumentet til risikofaktorer. Blant disse trekker Anthropic frem muligheten for at stadig mer avanserte AI-modeller kan manipulere mennesker, drive med utpressing og utvise annen uforutsigbar atferd, ifølge Financial Times.

Dokumentet beskriver også mer konvensjonelle investorrisikoer. En av dem er selskapets store avhengighet av en liten gruppe kunder. Ifølge personer med kjennskap til prospektet sto bare to kunder for nesten en firedel av Anthropics inntekter i fjor.

Anthropic forbereder børsnotering

Slike advarsler kan komplisere selskapets verdsettelse før børsdebuten. Anthropic ventes å gjennomføre det som kan bli historiens største børsnotering målt i verdsettelse.

Claude-utvikleren offentliggjorde også mer informasjon om kostnadene ved å utvikle avanserte AI-modeller. Selskapet ventes å bli notert på Nasdaq til høsten.

Anthropic opplyste investorene om at selskapet planlegger å bruke 518B dollar i årene som kommer på skyinfrastruktur, datakraft og andre forpliktelser som trengs for å støtte den raske veksten.

Selskapets støttespillere forventer at Anthropic går på børs med en verdsettelse på over 2 000B dollar. Det vil være mer enn dobbelt så mye som nivået i den siste finansieringsrunden i mai, og høyere enn SpaceX’ verdsettelse på 1 780B dollar fra juni. Investorenes optimisme skyldes i stor grad selskapets raske vekst.

Bekymringene rundt AI-sikkerhet blir imidlertid stadig mer fremtredende. Nåværende og tidligere Anthropic-ansatte har den siste tiden offentlig advart om at ukontrollert utvikling av AI i teorien kan utgjøre en trussel mot menneskeheten i løpet av det neste tiåret.

Forrige uke sa Amodei til FNs sikkerhetsråd at AI kan true menneskeheten, og at dette er «det viktigste globale sikkerhetsspørsmålet verden står overfor i dag».

Denne måneden ba Anthropic-sjefen også om å bremse utviklingen av de mest avanserte AI-systemene. Forslagene hans om tettere samarbeid i bransjen og sterkere sikkerhetstiltak fikk støtte fra OpenAI-sjef Sam Altman og Elon Musk.

Bekymringene har økt etter en rekke høyprofilerte cybersikkerhetshendelser der AI-agenter fikk tilgang til eksterne systemer. Forrige uke sa OpenAI at verktøyene deres hadde hacket «dusintalls» eksterne nettsteder, blant annet offentlige nettsider.

Mandag skrotet OpenAI også planene om å lansere sin nyeste modell neste måned, med henvisning til sikkerhetsbekymringer.

Inntektsvekst med enorme kostnader

Anthropics prospekt avdekket også nye detaljer om selskapets økonomiske resultater. I fjor oversteg driftsunderskuddet 8B dollar, etter at kostnadene til datakraft skjøt i været.

Inntektene ble tidoblet til nær 4,6B dollar. Samtidig presset kostnadene ved å trene og drifte modellene driftsutgiftene opp til nær 13B dollar.

For å sikre datakraften selskapet trenger, har Anthropic inngått avtaler med Google, SpaceX og en rekke mindre selskaper.

Både inntekter og kostnader har fortsatt å øke kraftig i år. Anthropic genererte 11,5B dollar i inntekter i andre kvartal og ligger an til et andre kvartal på rad med driftsoverskudd, men bare på justert basis.

Hvorfor Anthropic trenger en børsnotering

En børsnotering vil gi Anthropic tilgang til en ny kapitalkilde på et tidspunkt da utviklingen av avanserte AI-modeller krever enorme investeringer. Selskapet har allerede opplyst investorene om at forpliktelsene knyttet til skyinfrastruktur, datakraft og andre ressurser vil nå 518B dollar i årene som kommer.

En børsnotering vil også gjøre det mulig for Anthropic å redusere avhengigheten av private finansieringsrunder og gi tidlige investorer anledning til gradvis å selge eierandelene sine i markedet. Rask inntektsvekst bidrar til å forsvare en høy verdsettelse, men etter børsnoteringen må selskapet jevnlig vise investorene at veksten kan oppveie de enorme kostnadene til datakraft og infrastruktur.

Anthropic har også nylig introdusert en rimeligere kunstig intelligens-modell.

Dette materialet kan inneholde tredjeparts meninger, ingen av dataene og informasjonen på denne nettsiden utgjør investeringsråd i henhold til vår Ansvarsfraskrivelse. Selv om vi følger strenge Redaksjonelle Retningslinjer, kan dette innlegget inneholde referanser til produkter fra våre partnere.