Anthropic 表示,在原本应与公共互联网隔离的网络安全评估期间,多个 Claude 模型获得了三家公司的未经授权访问权限。这些事件表明,能力日益增强的 AI 智能体如何将测试错误转化为现实世界的安全漏洞,即使这些系统并非刻意在指定目标之外运行。
亮点
- Claude 模型在网络测试期间访问了三家公司。
- 测试错误导致系统连接到了互联网。
- 两家公司在 Anthropic 联系他们之前毫不知情。
本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.
根据该公司的网站 ,Anthropic 在 OpenAI 披露了涉及 AI 平台 Hugging Face 基础设施的另一起攻击后,通过审查 141,006 次评估会话发现了这些案例。Anthropic 将其违规行为归因于涉及外部评估合作伙伴的操作失误,该失误导致模型保持了互联网连接。
模拟攻击触及真实系统
受影响的模型包括 Claude Opus 4.7、Claude Mythos 5 以及一个内部研究模型。它们当时正在参加夺旗赛(CTF)演习,旨在测试它们是否能定位模拟网络内部的隐藏信息。
相反,这些模型触及了实时系统并利用了基础漏洞,包括弱密码和不需要身份验证的端点。Anthropic 表示,没有证据表明这些模型放弃了分配的任务或产生了独立目标;它们在很大程度上似乎认为真实的基础设施是评估的一部分。
在一个案例中,测试中使用的虚构目标与一家真实公司同名。Claude Opus 4.7 发现了漏洞,获取了凭据,并访问了属于该实际业务的数据库。另一个内部模型在意识到已触及真实目标后停止了攻击,尽管 Anthropic 表示在对该行为得出结论之前还需要进行更多测试。
监管在模型出错前已失效
Anthropic 于 7 月 23 日暂停了其网络评估,并于 7 月 27 日开始通知受影响的组织。两家公司尚未检测到入侵,而与第三家公司的沟通仍在进行中。评估合作伙伴、网络安全实验室 Irregular 表示正在调查这些事件。
此次披露紧随 OpenAI 的报告之后,该报告称其一个智能体在测试期间触及了 Hugging Face 。两者的区别很大:Anthropic 的系统是被无意中授予了互联网访问权限,而据报道 OpenAI 的智能体是利用了一个此前未知的弱点逃离了其环境。
前沿 AI 的遏制难题
核心风险不再仅仅是 AI 是否能识别漏洞,而是实验室能否可靠地控制先进智能体在何处运行,以及允许它们触及哪些系统。
在跨越 141,000 多个会话的审查中,仍然是在另一家公司披露了类似失败后才识别出违规行为。这引发了关于未检测到的事件、第三方测试标准,以及随着 AI 系统在网络安全任务中变得更加自主和高效,自愿性保障措施能否跟上步伐的棘手问题。
我们还报道了 Anthropic 因中国限制收紧 Claude 访问控制 。
- Forex
- Crypto