Anthropics opfordring til opbremsning: Kan sikkerhed bremse AI-kapløbet uden at afgive føringen?

​Anthropic har længe positioneret sig som den sikkerhedsfokuserede AI-virksomhed, der afbalancerer fremskridt inden for modeller med strenge sikkerhedsforanstaltninger. Men CEO Dario Amodeis nylige opfordring til at sætte tempoet ned for kapabilitetsfremskridt rejser spørgsmålet om, hvorvidt effektiv tilbageholdenhed kan sameksistere med kommercielt lederskab uden at afgive terræn til andre rivaler eller Kina.

En opfordring til at sætte tempoet ned ved frontier-udviklingen

Mens virksomheden forbereder sig på en potentiel Nasdaq-børsnotering (som forventes at nå et niveau på omkring $2 billioner), opfordrede CEO Dario Amodei offentligt frontier-AI-laboratorier til at “sætte tempoet ned ved frontieren”. Hans tretrinsplan har til formål at sænke hastigheden på kapabilitetsfremskridt, så sikkerhedsforanstaltningerne kan følge med. Medstifter Jack Clark tilføjede, at regeringer muligvis bliver nødt til at kræve verificerbare AI-nødstop. 

Se opslag på X Indlæser...

Tweetet blev slettet af forfatteren.

Men vi gemte alt 🙂.

Blot få dage tidligere offentliggjorde virksomheden en detaljeret trusselsintelligensrapport, der gav adskillige eksempler på, hvordan forskellige personer havde forsøgt at misbruge Claude til cyberoperationer og endda våbensoftware. Amodei advarede også om, at mere kapable AI-“sværme” potentielt kunne kontrollere en stor del af internettet inden for 6–12 måneder. OpenAIs Sam Altman og Elon Musk gav også udtryk for lignende synspunkter om problemet. Altman sagde, at OpenAI allerede havde taget nogle skridt til at indføre intern tempokontrol.

Rentabilitet møder forsigtighed

Fra et finansielt perspektiv rapporterer Anthropic konsekvent stærke finansielle resultater. Virksomheden forventer et andet kvartal i træk med positiv justeret driftsindtjening. Bruttomargenerne ligger over 80 procent før partnernes indtægtsandele og træningsomkostninger. Omsætningen i andet kvartal nåede cirka $11,5 milliarder, mens den annualiserede omsætning nåede $65 milliarder ved udgangen af juli. Disse tal forklarer den planlagte børsnotering. Anthropic har valgt Nasdaq som børsplatform og forbereder sig på en mulig debut i oktober. 

Se opslag på X Indlæser...

Tweetet blev slettet af forfatteren.

Men vi gemte alt 🙂.

Vedvarende rentabilitet er vigtig for at øge investorernes tillid, da de er bekymrede over det cash burn, der er typisk for frontier-AI-laboratorier. Hurtig omsætningsvækst afhænger dog af fortsatte kapabilitetsfremskridt og virksomheders anvendelse af modeller som Claude. Et lavere udviklingstempo kan give konkurrenterne mulighed for at indhente det forsømte eller give kinesiske virksomheder mulighed for at mindske afstanden. Amodei mener, at fremskridtene stadig ville fremstå hurtige under et styret tempo, men at det ville være muligt at forebygge de fleste sikkerhedsrisici.

Nødstop og uafhængigt tilsyn

Jack Clark skærpede diskussionen yderligere. I et interview med BBC sagde Anthropic-medstifteren, at de fleste laboratorier allerede har interne muligheder for at lukke systemer ned. Det sværere spørgsmål er, hævdede han, om regeringer bør kræve verificerbare nødstop, som kan bekræftes af uafhængige tredjeparter. Sådanne mekanismer ville sikre ekstern ansvarlighed.  

Se opslag på X Indlæser...

Tweetet blev slettet af forfatteren.

Men vi gemte alt 🙂.

Anthropic accepterede en uafhængig gennemgang foretaget af METR af tidligere hændelser, hvor Claude-modeller fik adgang til eksterne systemer under test. Disse tiltag har en positiv effekt på Anthropics sikkerhedsbrand og kan give virksomheden en konkurrencefordel i forhold til hurtigere bevægende rivaler. Men der opstår også nye spørgsmål vedrørende interne processer, complianceomkostninger og regulatoriske krav.

Tilbageholdenhedens geopolitik

Amodei understregede, at demokratiske lande bør koordinere tilbageholdenhed uden at opgive det teknologiske lederskab til Kina. Kinesiske virksomheder og statsforbundne aktører er systematisk til stede i Anthropics misbrugsrapporter, herunder forsøg på modeldestillation og efterretningsindsamling. Nogle amerikanske lovgivere har henvist til forskeradvarsler, er enige i risikoen for eksistentielle trusler og går ind for strammere regler. Andre, herunder personer tæt på administrationen, betragter sikkerhedsdrevne pauser som en gave til Beijing. 

Se opslag på X Indlæser...

Tweetet blev slettet af forfatteren.

Men vi gemte alt 🙂.

Eksportkontrol og selektive adgangsrestriktioner for avancerede modeller har allerede vist geopolitikkens voksende rolle. En koordineret opbremsning, som Kina vælger ikke at deltage i, kan stille amerikanske virksomheder dårligere. Rapporter viser, at nogle virksomheder såsom Nvidia, Palantir og Booz Allen har begrænset visse Anthropic-modeller på grund af bekymringer om dataopbevaring og intellektuel ejendomsret. Derfor påvirker sikkerhedshændelser eller politikændringer direkte tilliden på virksomhedsniveau.

Balance mellem brand og konkurrence

Constitutional AI, strenge tests og offentlige trusselsrapporter bruges af Anthropic til at skabe et billede af en ansvarlig virksomhed og bidrage til at tiltrække risikovillige virksomhedskunder. Den nylige lancering af Claude for Financial Advisors med integrationer til BlackRock, Charles Schwab og Addepar indikerer kommerciel ekspansion, selv mens virksomheden taler for tilbageholdenhed. Hvis konkurrenterne leverer kapabilitetsspring og vinder markedsandele, kan investorer og kunder fortolke forsigtighed som tøven, så ledelsen bør afveje alle relevante hensyn i den forbindelse.

Se opslag på X Indlæser...

Tweetet blev slettet af forfatteren.

Men vi gemte alt 🙂.

Tidligere sikkerhedsdiskussioner på tværs af branchen har ført til frivillige forpligtelser, som viste sig svære at håndhæve under konkurrencepres. Anthropic forsøger at løse dette problem ved at gå forrest med gennemsigtighed og tredjepartsadgang, samtidig med at virksomheden fortsat forfølger aggressiv vækst med forventning om en fremtidig børsnotering. Succes vil afhænge af, om tilstrækkeligt mange ligesindede følger efter – og om markederne vil belønne forsigtighed lige så højt som kapabilitet.