Anthropic onthult “existentiële risico’s” van AI in aanloop naar beursgang

Anthropic onthult “existentiële risico’s” van AI in aanloop naar beursgang
Hoe bedreigt AI de wereld?

​Anthropic heeft beleggers voor het eerst formeel gewaarschuwd dat zijn technologie “existentiële risico’s voor de mensheid” kan opleveren. De waarschuwing staat in het prospectus voor de beursgang van het bedrijf, dat de afgelopen dagen onder een beperkte groep partners is verspreid.

Dit artikel is vertaald vanuit het origineel. Lees de originele versie van onze correspondent hier.

Het bedrijf, dat wordt geleid door Dario Amodei en bijna $1T waard is, wijdde bijna een derde van het omvangrijke document aan risicofactoren. Daaronder noemt Anthropic de mogelijkheid dat steeds geavanceerdere AI-modellen mensen kunnen manipuleren, zich kunnen bezighouden met chantage en ander onvoorspelbaar gedrag kunnen vertonen, aldus de Financial Times.

Het document beschrijft ook meer traditionele risico’s voor beleggers. Een daarvan is de sterke afhankelijkheid van het bedrijf van een kleine groep klanten. Volgens mensen die bekend zijn met het prospectus waren slechts twee klanten vorig jaar goed voor bijna een kwart van de omzet van Anthropic.

Anthropic bereidt beursgang voor

Dergelijke waarschuwingen kunnen de waardering van het bedrijf compliceren in aanloop naar de beursgang. Naar verwachting zal Anthropic een beursgang lanceren die qua waardering de grootste ooit kan worden.

De ontwikkelaar van Claude maakte ook meer informatie bekend over de kosten die nodig zijn om geavanceerde AI-modellen te bouwen. Naar verwachting zal het bedrijf dit najaar een notering aan de Nasdaq krijgen.

Anthropic liet beleggers weten dat het de komende jaren $518B wil uitgeven aan cloudinfrastructuur, rekenkracht en andere verplichtingen die nodig zijn om de snelle groei te ondersteunen.

De financiers van het bedrijf verwachten dat Anthropic naar de beurs gaat tegen een waardering van meer dan $2T. Dat zou ruim twee keer zo hoog zijn als het niveau van de laatste financieringsronde in mei en hoger dan de waardering van SpaceX van $1,78T in juni. Het optimisme van beleggers wordt grotendeels gedreven door de snelle groei van het bedrijf.

Tegelijkertijd krijgen zorgen over AI-veiligheid steeds meer aandacht. Huidige en voormalige werknemers van Anthropic hebben onlangs publiekelijk gewaarschuwd dat ongecontroleerde AI-ontwikkeling theoretisch binnen het komende decennium een bedreiging voor de mensheid kan vormen.

Vorige week vertelde Amodei de VN-Veiligheidsraad dat AI de mensheid kan bedreigen en “de belangrijkste mondiale veiligheidskwestie is waarmee de wereld vandaag wordt geconfronteerd”.

Deze maand riep de CEO van Anthropic ook op om de ontwikkeling van de meest geavanceerde AI-systemen te vertragen. Zijn voorstellen voor nauwere samenwerking binnen de sector en strengere veiligheidsmaatregelen kregen steun van OpenAI-CEO Sam Altman en Elon Musk.

De zorgen zijn toegenomen na een reeks spraakmakende cybersecurity-incidenten waarbij AI-agents toegang kregen tot externe systemen. Vorige week zei OpenAI dat zijn tools “tientallen” externe websites hadden gehackt, waaronder overheidssites.

OpenAI schrapte maandag ook plannen om zijn nieuwste model volgende maand uit te brengen vanwege zorgen over de veiligheid.

Omzetgroei gaat gepaard met enorme kosten

Het prospectus van Anthropic bracht ook nieuwe details aan het licht over de financiële prestaties van het bedrijf. Vorig jaar bedroeg het operationele verlies meer dan $8B doordat de uitgaven aan rekenkracht sterk stegen.

De omzet vertwaalfvoudigde tot bijna $4,6B. Tegelijkertijd dreven de kosten voor het trainen en draaien van de modellen de operationele uitgaven op tot bijna $13B.

Om de benodigde rekenkracht veilig te stellen, heeft Anthropic overeenkomsten gesloten met Google, SpaceX en een aantal kleinere bedrijven.

Zowel de omzet als de uitgaven zijn dit jaar scherp blijven stijgen. Anthropic genereerde in het tweede kwartaal $11,5B omzet en ligt op koers voor een tweede opeenvolgend kwartaal met operationele winst, zij het alleen op aangepaste basis.

Waarom Anthropic een beursgang nodig heeft

Een beursgang zou Anthropic toegang geven tot een nieuwe kapitaalbron op een moment dat de ontwikkeling van geavanceerde AI-modellen enorme uitgaven vereist. Het bedrijf heeft beleggers al laten weten dat zijn verplichtingen voor cloudinfrastructuur, rekenkracht en andere middelen de komende jaren zullen oplopen tot $518B.

Een beursgang zou Anthropic ook in staat stellen zijn afhankelijkheid van private financieringsrondes te verminderen en vroege beleggers de mogelijkheid bieden hun belangen geleidelijk op de openbare markt te verkopen. De snelle omzetgroei helpt het bedrijf een hoge waardering te rechtvaardigen, maar na de beursgang zal het beleggers regelmatig moeten aantonen dat de groei van het bedrijf de enorme kosten van rekenkracht en infrastructuur kan compenseren.

Anthropic heeft onlangs ook een goedkoper artificial-intelligence-model geïntroduceerd.

Dit materiaal kan meningen van derden bevatten, geen van de gegevens en informatie op deze webpagina vormt beleggingsadvies volgens onze Disclaimer. Hoewel we ons houden aan strikte Redactionele Integriteit, kan deze post verwijzingen bevatten naar producten van onze partners.