Dmytro Kharkov

Anthropic 的放缓呼吁:安全能否在不让出领先地位的情况下遏制 AI 竞赛?

Anthropic 的放缓呼吁:安全能否在不让出领先地位的情况下遏制 AI 竞赛?
Anthropic 的放缓呼吁。

Anthropic 长期以来一直将自己定位为一家以安全为重点的 AI 公司,在模型进步与严格保障措施之间寻求平衡。但 CEO Dario Amodei 最近呼吁放缓能力提升的步伐,引发了一个问题:有效的克制能否与商业领导地位并存,同时又不将优势拱手让给其他竞争对手或中国。

本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.

呼吁放缓前沿发展步伐

在筹备潜在的 Nasdaq IPO(预计规模约达 $2 trillion)期间,CEO Dario Amodei 公开呼吁前沿 AI 实验室“放缓前沿发展步伐”。他的三步计划旨在放慢能力进步的速度,以便安全措施能够跟上。联合创始人 Jack Clark 补充称,政府可能需要强制要求配备可验证的 AI 紧急关闭开关。 

就在几天前,该公司发布了一份详细的威胁情报报告,列举了大量不同人士试图滥用 Claude 进行网络行动,甚至开发武器软件的案例。Amodei 还警告称,更强大的 AI“集群”可能会在 6–12 个月内控制互联网的很大一部分。OpenAI 的 Sam Altman 和 Elon Musk 也对这一问题表达了类似看法。Altman 表示,OpenAI 已经采取了一些措施,在内部引入放缓机制。

盈利能力与谨慎并行

从财务角度看,Anthropic 报告的财务表现持续强劲。该公司预计将连续第二个季度实现经调整营业收入为正。扣除合作伙伴收入分成和训练成本前,毛利率超过 80 percent。第二季度营收约达 $11.5 billion,截至 7 月底,年化营收达到 $65 billion。这些数据解释了其计划 IPO 的原因。Anthropic 已选择 Nasdaq 作为上市平台,并正准备最早于 10 月上市。 

持续盈利对于增强投资者信心至关重要,投资者担心前沿 AI 实验室典型的现金消耗。然而,快速的营收增长依赖于能力持续提升,以及企业采用 Claude 等模型。放慢开发步伐可能给竞争对手留下追赶空间,或让中国公司缩小差距。Amodei 相信,在放缓机制下,进展看起来仍会很快,但有可能防范大多数安全风险。

紧急关闭开关与第三方监督

Jack Clark 进一步深化了这一讨论。这位 Anthropic 联合创始人在接受 BBC 采访时表示,大多数实验室已经具备在内部关闭系统的能力。他认为,更棘手的问题是,政府是否应要求配备可由独立第三方确认的可验证紧急关闭开关。这类机制将确保外部问责。  

Anthropic 同意由 METR 对此前的事件进行独立审查;在这些事件中,Claude 模型在测试期间访问了外部系统。这些举措对 Anthropic 的安全品牌产生积极影响,并可能使其相较于发展更快的竞争对手获得竞争优势。但与此同时,围绕内部流程、合规成本以及监管要求也出现了新的问题。

克制的地缘政治

Amodei 强调,民主国家应协调采取克制措施,同时不向中国让渡技术领导地位。中国企业及与国家相关的行为者系统性地出现在 Anthropic 的滥用报告中,包括试图进行模型蒸馏和情报收集。一些美国议员援引研究人员的警告,认同存在生存性风险,并主张制定更严格的规则。包括与政府关系密切人士在内的其他人则认为,由安全驱动的暂停是在向北京送礼。 

出口管制以及对先进模型实施选择性访问限制,已经显示出地缘政治在该领域日益扩大的作用。若中国拒绝加入,协调一致的放缓措施可能使美国公司处于不利地位。报告显示,Nvidia、Palantir 和 Booz Allen 等一些公司出于数据保留和知识产权方面的担忧,已限制使用某些 Anthropic 模型。因此,安全事件或政策变化一旦出现,会直接影响企业层面的信任。

平衡品牌与竞争

Anthropic 利用 Constitutional AI、严格测试和公开威胁报告,塑造负责任企业的形象,并吸引风险厌恶型企业客户。近期推出的面向金融顾问的 Claude,配备与 BlackRock、Charles Schwab 和 Addepar 的连接器,表明该公司即使倡导克制,仍在推进商业扩张。若竞争对手实现能力跃升并抢占市场份额,投资者和客户可能会将谨慎解读为犹豫,因此管理层应在这方面平衡所有合理关切。

以往覆盖整个行业的安全讨论曾促成自愿承诺,但这些承诺在竞争压力下难以执行。Anthropic 正试图通过透明度和第三方访问来解决这一问题,同时仍以未来 IPO 为预期积极追求增长。成功将取决于是否有足够多的同行跟进,以及市场是否会像重视能力一样重视谨慎。

此材料可能包含第三方意见,根据我们的免责声明,本网页上的数据和信息均不构成投资建议。尽管我们坚持严格的编辑完整性,但此帖子可能包含对我们合作伙伴产品的引用。