Google 的 Gemini 模型在 AI 网络安全能力测试期间,未经明确指示便未经授权访问了三家真实公司的系统。这些事件发生在 5 月,是 Irregular 开展实验的一部分;该机构此前曾发现 OpenAI、Anthropic 和 Meta 的模型存在类似行为。
本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.
据 Bloomberg 报道,Irregular 于 7 月下旬向 AI 开发商通报了相关问题。Google 强调,Gemini 在这三起事件中均自主停止了进一步行动,且受影响机构已获通知。
在一项测试中,模型被要求获取一家虚构公司的信息,而该公司的名称恰好与一家真实机构相同。Gemini 发现了其服务并猜中密码,从而访问了这家真实公司的系统。
Gemini 在公开代码库中发现第三方凭证
另外两起事件发生在 Gemini 通过互联网搜索公司名称之后。该模型发现了包含其他机构凭证的公开在线代码库,并利用这些凭证访问了额外的系统。
Google 安全工程副总裁 Heather Adkins 表示,该模型在三起事件中均在某个阶段自主停止了行动。她补充称,Google 还确保受影响机构获悉这些事件。
该公司已就至少一起事件通知了有关部门。Irregular 代表 Joseph Laor 表示,发现问题后立即采取了行动,公司数周前已在自身方面修复所有已知漏洞。
Adkins 表示,这些事件表明有必要训练强大的 AI 模型以负责任的方式行事。这些案例显示,即使这并非任务的直接目标,自主系统也能发现真实凭证并加以利用。
AI 行业围绕安全性的争论加剧
这一系列涉及智能体 AI 系统的事件,加剧了围绕该技术相关风险的争论。此前,同一批 Irregular 测试曾发现涉及 OpenAI、Anthropic 和 Meta 系统的类似入侵事件。
Anthropic CEO Dario Amodei 曾呼吁全行业放缓 AI 开发。这一倡议也获得了 OpenAI CEO Sam Altman 和 Elon Musk 的支持,而美国总统 Donald Trump、Nvidia CEO Jensen Huang 及 Meta CEO Mark Zuckerberg 则反对收紧行业监管。
在此背景下,争论日益超出技术风险范畴,转向由谁制定 AI 开发规则 的问题。支持主要 AI 实验室协调的人士指出,需要建立统一的安全标准;反对者则认为,公司可以自行管理风险。
监管对竞争的影响也成为争议焦点。一些较年轻的 AI 公司警告称,严格要求可能为小型开发商设置额外障碍,并巩固最大型科技公司的地位。
此前我们报道,随着与 OpenAI 的竞争在潜在 IPO 前加剧,Anthropic 正在考虑推出新的 AI 模型 。该公司在为可能的上市做准备之际,持续扩充产品阵容。
- Forex
- Crypto