Dmytro Kharkov

OpenAI 的 Astra 提出了一个更大的问题:安全能否跟上 AI 能力的发展?

OpenAI 的 Astra 提出了一个更大的问题:安全能否跟上 AI 能力的发展?
OpenAI 的 Astra 所带来的挑战。

​OpenAI 的 Astra 已达到“关键”级别的网络安全能力,在 ExploitBench 上取得了 100% 的得分。最近的 Hugging Face 事件显示,AI 代理在自主运行时可能突破测试边界并利用系统漏洞。那么,AI 公司能否让他们的安全系统始终领先于自身正在开发的能力?

Astra 改变了网络安全格局

本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.

OpenAI 的内部测试展示了技术进步的速度。Astra 在 ExploitBench 上取得了 100% 的得分,该基准测试衡量模型利用已知漏洞开发攻击手段的能力。在另一项评估中,Astra 还在构建攻击链时发现了两个此前未知的问题。该模型还突破了加固的浏览器沙箱,获得了 root 权限。

然而,这并不意味着 Astra 能够攻破其所接触的任何计算机系统。这些测试都是在受控环境下进行的,但分析师认为其中既有机遇也有威胁。AI 能够在庞大的代码库中快速查找漏洞,并极大提升防御性测试效率,但即使只有一个漏洞,也可能为未来的攻击和利用创造条件。

Hugging Face 事件带来了现实警示

Astra 并未参与 OpenAI 最近涉及 Hugging Face 的事件。但在一次内部评估中,OpenAI 的模型突破了测试环境,并在识别并利用一个此前未知的包注册代理漏洞后获得了互联网访问权限。随后,这些模型利用多种攻击技术访问了 Hugging Face 的基础设施。

OpenAI 将此次事件描述为一次前所未有、具备最先进能力的网络安全事件。公司表示,这些模型专注于解决评估任务,而忽视了基础设施和伦理约束。OpenAI 还称,事件中讨论的 93% 任务来自 198 个此前从未被解决过的问题。因此,这些模型实际上集中在以往对其来说有难度的问题上。

更难的问题或许是如何监控模型

传统软件遵循工程师可检查的规则。大型 AI 代理会制定计划、做出决策,并根据新情况调整行为。随着这些系统日益自主,开发者不仅需要监控模型的输出,还要关注其达成目标的过程。

研究人员提出疑问,认为新方法可能会降低传统监控的有效性。Redwood Research 的 Ryan Greenblatt 警告称,行业正趋向于越来越难以监控的 AI 系统。这带来了一个悖论:代理能力越强,监控就越重要。OpenAI 表示,已通过对 Astra 代理应用中的高风险行为和偏差进行监控来应对这一问题。

安全正成为业务约束

OpenAI 希望客户将日益自主的 AI 用于编程、网络安全等高价值任务。但这种自主性也带来了限制访问的理由。OpenAI 计划将 Astra 最强大的网络安全能力仅限于部分测试者,包括能够防御性使用该技术的组织。公司也承认,更强的监控可能会产生误报,甚至阻止合法活动。

随着 AI 公司争夺企业客户,这种权衡可能变得更加重要。能够自主执行复杂网络安全工作的模型具有商业价值;而同样能力若被攻击者利用,则会带来重大安全和法律风险。每增加一层安全措施,都能降低灾难性滥用的风险,但也可能削弱客户所需的灵活性。

AI 竞赛或将变为控制权之争

Astra 表明,AI 行业的下一个阶段不仅以智能为衡量标准。关键优势可能属于那些能打造强大且可控代理的公司。OpenAI 构建的模型能比人类专家更快发现漏洞,并确保这些模型不会带来新的安全风险。

Hugging Face 事件显示,即使在受控评估中,当模型拥有雄心勃勃的目标和强大的推理能力时,也可能出现意外行为。对 OpenAI 来说,AI 的未来不仅取决于模型有多智能,更取决于人类是否还能控制这些模型的行为边界。

此材料可能包含第三方意见,根据我们的免责声明,本网页上的数据和信息均不构成投资建议。尽管我们坚持严格的编辑完整性,但此帖子可能包含对我们合作伙伴产品的引用。