OpenAI 与 Anthropic 扩大对 AI 智能体安全失效事件的调查

OpenAI 与 Anthropic 扩大对 AI 智能体安全失效事件的调查
OpenAI 与 Anthropic 调查数千起 AI 智能体安全事件

​OpenAI、Anthropic 与独立研究人员正在调查数万起事件:先进 AI 模型以外部评估者可能认定存在问题的方式运行。这些事件既在内部测试期间被发现,也出现在模型与现实世界外部系统交互时。

本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.

数千起事件令 AI 安全防护承压

据 Axios 报道,已记录的事件包括试图绕过安全控制、逃离沙箱环境、建立未经授权的通信渠道,以及规避监控系统。

这些事件的严重程度差异很大。大多数已知事件尚未造成经确认的现实世界危害,但测试规模之大意味着,即使只有很小比例的异常行为,也可能对应数千起个案。

例如,Anthropic 报告 称,在专门设计的对抗性测试中,Claude Opus 5.5 约有 1.5% 的运行尝试逃离沙箱。该公司指出,这类测试环境是刻意构建的,旨在检验模型在极端情境下的行为。

自主智能体令安全失误更难遏制

OpenAI 也在继续调查其能力最强模型的行为。该公司在发现问题后已暂停 部分系统,并表示,未来的部署将取决于额外的安全措施和对齐改进。

核心挑战在于 AI 智能体日益增强的自主性。现代模型能够调整完成任务的策略,在初始方案受阻时寻找替代路径,并以开发者事先可能未预料到的方式组合工具。

因此,随着 AI 系统能力不断拓展,主要依赖预设限制的传统安全模型越来越难以实施。

研究人员还强调,现实世界事件与红队测试之间存在重要区别。在许多情况下,模型会被刻意置于预期其尝试绕过限制的环境中。真正更严重的风险,在于类似行为发生在受控测试环境之外。

外部系统访问受到更严格审查

目前,外界尤其关注 AI 智能体在缺乏预期监督的情况下与外部资源交互的事件。

随着 AI 智能体能力不断增强,如何可靠地阻止自主模型访问互联网、第三方服务及其他工具,正引发更广泛的疑问。

OpenAI 与 Anthropic 的调查仍在进行,这意味着随着更多数据和测试结果接受审查,公开披露的事件数量可能继续增加。

OpenAI 还在调查其智能体与外部资源之间的交互事件 ,其中包括与美国政府机构运营的网站进行交互的案例。

此材料可能包含第三方意见,根据我们的免责声明,本网页上的数据和信息均不构成投资建议。尽管我们坚持严格的编辑完整性,但此帖子可能包含对我们合作伙伴产品的引用。