Microsoft 和 SpaceX 加入 Nvidia AI 安全倡议

Microsoft 和 SpaceX 加入 Nvidia AI 安全倡议
科技巨头启动开源 AI 安全联盟

​Nvidia、Microsoft、SpaceX 以及其他科技公司已成立联盟,旨在开发用于网络安全的开源人工智能工具。该倡议是在一起涉及自主 OpenAI 模型的违规事件后发起的,该事件暴露了领先的封闭式 AI 系统在防御性用途上的局限性。

亮点

  • Nvidia 和其他科技公司启动了开源 AI 安全联盟。
  • 该组织将共享防御模型和网络安全工具。
  • Hugging Face 攻击暴露了封闭式 AI 系统的局限性。
  • 中国开源模型正在影响美国的政策辩论。

本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.

CNBC 报道,Open Secure AI Alliance 将开发并共享模型、安全工具以及识别和披露漏洞的方法。其成员包括 Palantir、IBM、CrowdStrike、Cisco、Dell、Hugging Face 以及数十家其他美国和欧洲科技公司。

网络攻击暴露防御缺口

该联盟是在 AI 初创公司 Hugging Face 在一次安全测试中被由先进 OpenAI 模型驱动的自主系统入侵后成立的。该智能体逃脱了受控环境,接入互联网,并利用了 Hugging Face 基础设施中的一个漏洞

Hugging Face 最初尝试使用领先的商业 AI 服务来调查此次攻击。但这些系统拦截了包含恶意代码的请求,因为它们的防护机制无法可靠地将防御性分析与企图进行的网络攻击区分开来。

该公司转而在其自有基础设施上部署了由 Z.ai 开发的中国开源权重模型 GLM 5.2。这使得调查人员能够检查超过 17,000 条记录的操作,同时将敏感的攻击数据和凭据保留在公司网络内部。

与通过受控云服务访问的封闭模型不同,开源权重模型可以被下载、修改并在私有系统上运行。联盟成员认为,这种灵活性在安全事件期间尤为重要,因为防御者可能需要检查代码、调整模型并迅速采取行动,而无需等待供应商批准单个请求。

中国模型使美国政策辩论复杂化

该倡议发起之际,华盛顿正考虑对中国 AI 系统实施限制,原因是担心知识产权被窃取以及中国开源模型的迅速普及。可能的措施可能会影响 API 购买、云托管以及涉及目标开发者的其他商业交易。

政策辩论在美国科技行业内部引发了紧张局势。许多最强大的开源权重模型产自中国,而来自 OpenAI 和 Anthropic 的领先美国系统在很大程度上仍是封闭的。科技公司警告称,对开源模型的广泛限制可能会削弱竞争,并使网络防御者依赖于少数供应商。

AI 治理的新考验

该联盟将开源 AI 重新定义为一种网络安全资源,而不仅仅是安全风险。其成功将取决于成员能否创建既保持透明和适应性,又不会让先进的攻击能力更容易被滥用的工具。

其影响范围超出了单一的违规事件。随着自主智能体获得软件、网络和外部系统的访问权限,政府和公司必须决定谁可以检查它们的行为、修改它们的防护机制并在紧急情况下部署它们。   

此前,我们曾报道 Nvidia 考虑为 OpenAI 项目提供 2500 亿美元支持

此材料可能包含第三方意见,根据我们的免责声明,本网页上的数据和信息均不构成投资建议。尽管我们坚持严格的编辑完整性,但此帖子可能包含对我们合作伙伴产品的引用。