Dmytro Kharkov

Anthropics uppmaning till avmattning: Kan säkerhet bromsa AI-kapplöpningen utan att ge upp ledningen?

Anthropics uppmaning till avmattning: Kan säkerhet bromsa AI-kapplöpningen utan att ge upp ledningen?
Anthropics uppmaning till avmattning.

​Anthropic har länge positionerat sig som det säkerhetsfokuserade AI-bolaget som balanserar modellframsteg med rigorösa skyddsåtgärder. Men vd Dario Amodeis senaste uppmaning att hålla jämna steg med kapacitetsutvecklingen väcker frågan om effektiv återhållsamhet kan samexistera med kommersiellt ledarskap utan att tappa mark till andra konkurrenter eller Kina.

Denna artikel har översatts från originalet. Läs originalversionen av vår korrespondent här.

En uppmaning att hålla jämna steg vid frontlinjen

Samtidigt som bolaget förbereder sig för en möjlig börsnotering på Nasdaq (som förväntas nå omkring 2 biljoner USD) uppmanade vd Dario Amodei offentligt AI-laboratorier i framkant att ”hålla jämna steg vid frontlinjen”. Hans trestegsplan syftar till att bromsa takten i kapacitetsframstegen så att säkerhetsåtgärderna kan hinna med. Medgrundaren Jack Clark tillade att regeringar kan behöva kräva verifierbara AI-nödbrytare. 

Bara några dagar tidigare publicerade bolaget en detaljerad hotinformationsrapport med många exempel på hur olika personer hade försökt missbruka Claude för cyberoperationer och till och med programvara för vapen. Amodei varnade också för att mer kapabla AI-”svärmar” potentiellt skulle kunna kontrollera en stor del av internet inom 6–12 månader. OpenAI:s Sam Altman och Elon Musk uttryckte också liknande synpunkter på problemet. Altman sade att OpenAI redan hade vidtagit vissa åtgärder för att införa återhållsamhet internt.

Lönsamhet möter försiktighet

Ur ett finansiellt perspektiv rapporterar Anthropic genomgående starka resultat. Bolaget förväntar sig ett andra kvartal i rad med positiv justerad rörelseinkomst. Bruttomarginalerna ligger över 80 procent före intäktsdelning med partners och utbildningskostnader. Intäkterna under andra kvartalet uppgick till cirka 11,5 miljarder USD, medan annualiserade intäkter nådde 65 miljarder USD i slutet av juli. Dessa siffror förklarar varför bolaget planerar en börsnotering. Anthropic har valt Nasdaq som noteringsplattform och förbereder sig för en möjlig debut i oktober. 

Varaktig lönsamhet är viktig för att stärka investerarnas förtroende, då de oroar sig för den kapitalförbränning som är typisk för AI-laboratorier i framkant. Snabb intäktstillväxt är dock beroende av fortsatta kapacitetsframsteg och företagskunders användning av modeller som Claude. Att bromsa utvecklingstakten kan ge konkurrenter utrymme att komma ikapp eller låta kinesiska bolag minska avståndet. Amodei anser att utvecklingen fortfarande skulle framstå som snabb under en mer återhållsam regim, men att det skulle vara möjligt att förebygga de flesta säkerhetsrisker.

Nödbrytare och granskning från tredje part

Jack Clark skärpte diskussionen ytterligare. I en intervju med BBC sade Anthropics medgrundare att de flesta laboratorier redan har interna möjligheter att stänga av system. Den svårare frågan, menade han, är om regeringar bör kräva verifierbara nödbrytare som kan bekräftas av oberoende tredje parter. Sådana mekanismer skulle säkerställa extern ansvarsskyldighet.  

Anthropic gick med på en oberoende granskning av METR av tidigare incidenter där Claude-modeller fick åtkomst till externa system under tester. Dessa åtgärder stärker Anthropics säkerhetsvarumärke och kan ge bolaget en konkurrensfördel gentemot snabbare rörliga rivaler. Men det väcks också nya frågor om interna processer, efterlevnadskostnader och regulatoriska krav.

Återhållsamhetens geopolitik

Amodei betonade att demokratiska länder bör samordna återhållsamhet utan att överlåta det teknologiska ledarskapet till Kina. Kinesiska företag och statsanknutna aktörer förekommer systematiskt i Anthropics rapporter om missbruk, inklusive försök till modelldestillering och underrättelseinhämtning. Vissa amerikanska lagstiftare har hänvisat till forskares varningar, instämmer i riskerna för mänsklighetens existens och förespråkar strängare regler. Andra, däribland personer med nära band till administrationen, ser säkerhetsdrivna pauser som en gåva till Peking. 

Exportkontroller och selektiva åtkomstbegränsningar för avancerade modeller har redan visat geopolitikens växande roll. En samordnad avmattning som Kina väljer att inte ansluta sig till kan missgynna amerikanska företag. Rapporter visar att vissa företag, såsom Nvidia, Palantir och Booz Allen, har begränsat vissa Anthropic-modeller på grund av farhågor kring datalagring och immateriella rättigheter. Säkerhetsincidenter eller policyförändringar påverkar därför direkt förtroendet på företagsnivå.

Balans mellan varumärke och konkurrens

Constitutional AI, rigorösa tester och offentliga hotrapporter används av Anthropic för att skapa en bild av ett ansvarsfullt företag och bidra till att locka riskaverta företagskunder. Den nyliga lanseringen av Claude for Financial Advisors, med anslutningar till BlackRock, Charles Schwab och Addepar, visar på kommersiell expansion även samtidigt som bolaget förespråkar återhållsamhet. Om konkurrenter levererar kapacitetssprång och tar marknadsandelar kan investerare och kunder tolka försiktighet som tvekan, så ledningen bör balansera alla relevanta intressen i detta avseende.

Tidigare branschomfattande säkerhetsdiskussioner har lett till frivilliga åtaganden som visat sig svåra att upprätthålla under konkurrenstryck. Anthropic försöker lösa problemet genom att gå i bräschen för transparens och åtkomst för tredje part, samtidigt som bolaget fortsätter att sträva efter aggressiv tillväxt inför en framtida börsnotering. Framgången kommer att bero på om tillräckligt många andra aktörer följer efter – och om marknaderna värderar försiktighet lika högt som kapacitet.

Detta material kan innehålla åsikter från tredje part, ingen av uppgifterna och informationen på denna webbsida utgör investeringsrådgivning enligt vår Ansvarsfriskrivning. Även om vi följer strikt Redaktionell Integritet, kan detta inlägg innehålla referenser till produkter från våra partners.