Výzva Anthropic ke zpomalení: Dokáže bezpečnost omezit závody v AI, aniž by firma přenechala vedení konkurenci?

​Anthropic se dlouhodobě profiluje jako společnost zaměřená na bezpečnost AI, která vyvažuje pokrok v oblasti modelů přísnými ochrannými opatřeními. Nedávná výzva generálního ředitele Daria Amodeie ke zpomalení růstu schopností však vyvolává otázku, zda může účinné omezení koexistovat s obchodním vedením, aniž by firma ztratila pozici vůči jiným konkurentům nebo Číně.

Výzva ke zpomalení vývoje špičkové AI

Při přípravách na možné IPO na Nasdaqu (s očekávanou hodnotou kolem 2 bilionů USD) generální ředitel Dario Amodei veřejně vyzval laboratoře špičkové AI, aby „zpomalily vývoj na hranici možností“. Jeho třístupňový plán má zpomalit tempo zvyšování schopností, aby bezpečnostní opatření mohla držet krok. Spoluzakladatel Jack Clark dodal, že vlády možná budou muset nařídit ověřitelné nouzové vypínače AI. 

Zobrazit příspěvek na X Načítání...

Tweet byl autorem smazán.

Ale my jsme všechno uložili 🙂.

Jen o několik dní dříve společnost zveřejnila podrobnou zprávu o zpravodajství týkajícím se hrozeb, která uváděla řadu příkladů, jak se různí lidé pokoušeli zneužít Claude pro kybernetické operace a dokonce i software pro zbraně. Amodei rovněž varoval, že schopnější „roje“ AI by mohly během 6–12 měsíců potenciálně ovládat velkou část internetu. Podobné názory na tento problém vyjádřili také Sam Altman z OpenAI a Elon Musk. Altman uvedl, že OpenAI již podnikla určité kroky k zavedení zpomalování interně.

Ziskovost se setkává s obezřetností

Z finančního hlediska Anthropic vykazuje stabilně silné finanční výsledky. Společnost očekává druhé po sobě jdoucí čtvrtletí s kladným upraveným provozním ziskem. Hrubé marže přesahují 80 procent před podíly partnerů na výnosech a náklady na trénování. Tržby ve druhém čtvrtletí dosáhly zhruba 11,5 miliardy USD, přičemž anualizované tržby do konce července dosáhly 65 miliard USD. Tato čísla vysvětlují plánované IPO. Anthropic si jako platformu pro kotaci vybrala Nasdaq a připravuje se na možný říjnový debut. 

Zobrazit příspěvek na X Načítání...

Tweet byl autorem smazán.

Ale my jsme všechno uložili 🙂.

Trvalá ziskovost je důležitá pro zvýšení důvěry investorů, kteří mají obavy ze spalování hotovosti typického pro laboratoře špičkové AI. Rychlý růst tržeb však závisí na pokračujícím zlepšování schopností a zavádění modelů, jako je Claude, ve firmách. Zpomalení tempa vývoje by mohlo dát konkurentům prostor k dohnání náskoku nebo umožnit čínským společnostem zmenšit rozdíl. Amodei se domnívá, že pokrok by i při zpomaleném režimu stále působil rychle, avšak bylo by možné předejít většině bezpečnostních rizik.

Nouzové vypínače a nezávislý dohled

Jack Clark debatu dále vyostřil. Spoluzakladatel Anthropic v rozhovoru pro BBC uvedl, že většina laboratoří již má interní možnosti, jak systémy vypnout. Těžší otázkou podle něj je, zda by vlády měly vyžadovat ověřitelné nouzové vypínače, které by mohly potvrdit nezávislé třetí strany. Takové mechanismy by zajistily externí odpovědnost.  

Zobrazit příspěvek na X Načítání...

Tweet byl autorem smazán.

Ale my jsme všechno uložili 🙂.

Anthropic souhlasila s nezávislým přezkumem ze strany METR ohledně dřívějších incidentů, při nichž modely Claude během testování přistupovaly k externím systémům. Tyto kroky mají pozitivní dopad na bezpečnostní značku Anthropic a mohou jí poskytnout konkurenční výhodu oproti rychleji postupujícím rivalům. Zároveň však vyvolávají nové otázky ohledně interních procesů, nákladů na dodržování předpisů i regulatorních požadavků.

Geopolitika zdrženlivosti

Amodei zdůraznil, že demokratické země by měly koordinovat zdrženlivost, aniž by technologické vedení přenechaly Číně. Čínské firmy a aktéři napojení na stát se systematicky objevují ve zprávách Anthropic o zneužití, včetně pokusů o destilaci modelů a shromažďování zpravodajských informací. Někteří američtí zákonodárci citovali varování výzkumníků, souhlasí s existenciálními riziky a prosazují přísnější pravidla. Jiní, včetně osob blízkých administrativě, považují bezpečnostně motivované pauzy za dar Pekingu. 

Zobrazit příspěvek na X Načítání...

Tweet byl autorem smazán.

Ale my jsme všechno uložili 🙂.

Kontroly vývozu a selektivní omezení přístupu k pokročilým modelům již ukázaly rostoucí úlohu geopolitiky v geopolitice. Koordinované zpomalení, k němuž by se Čína odmítla připojit, by mohlo americké společnosti znevýhodnit. Zprávy ukazují, že některé firmy, například Nvidia, Palantir a Booz Allen, omezily některé modely Anthropic kvůli obavám ohledně uchovávání dat a duševního vlastnictví. Bezpečnostní incidenty nebo změny politiky tak přímo ovlivňují důvěru na úrovni firem.

Vyvažování značky a konkurence

Anthropic využívá Constitutional AI, důkladné testování a veřejné zprávy o hrozbách k budování obrazu odpovědné společnosti a k přilákání opatrných firemních klientů. Nedávné spuštění Claude for Financial Advisors s konektory k BlackRock, Charles Schwab a Addepar naznačuje obchodní expanzi i při prosazování zdrženlivosti. Pokud konkurenti přinesou výrazné skoky ve schopnostech a získají podíl na trhu, investoři a zákazníci by mohli opatrnost vnímat jako váhání, proto by vedení mělo v tomto ohledu vyvážit všechny relevantní zájmy.

Zobrazit příspěvek na X Načítání...

Tweet byl autorem smazán.

Ale my jsme všechno uložili 🙂.

Předchozí celoodvětvové diskuse o bezpečnosti přinesly dobrovolné závazky, jejichž vymáhání se pod konkurenčním tlakem ukázalo jako obtížné. Anthropic se tento problém snaží řešit tím, že staví na transparentnosti a přístupu třetích stran, zatímco nadále usiluje o agresivní růst s výhledem na budoucí IPO. Úspěch bude záviset na tom, zda se přidá dostatek konkurentů — a zda trhy ocení obezřetnost stejně vysoko jako schopnosti.