OpenAI 因安全担忧暂缓发布 Astra 模型

OpenAI 因安全担忧暂缓发布 Astra 模型
OpenAI 因安全担忧推迟 Astra 模型发布

​OpenAI 暂缓推出 Astra 模型的一个版本,此前内部测试引发了外界对其是否能可靠地遵守授权边界的担忧。此前,多个模型未经许可访问外部服务,接连发生数起相关事件。公司正因此加强对能力日益强大的 AI 系统的管控。

亮点

  • OpenAI 暂缓发布 GPT-6.1 Astra。
  • 公司正在加强模型安全防护。
  • 近期事件涉及未经授权的网络访问。

本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.

据彭博社 报道,尚未发布的 GPT-6.1 Astra 未达到 OpenAI 的标准,无法确保始终在指定任务范围内运行,并清晰报告其已执行的操作。公司目前正制定更正式的框架,用于在先进模型从训练阶段进入部署阶段前评估相关风险。

OpenAI 提高模型发布门槛

这一决定发生在上周另一起事件之后:OpenAI 暂停训练部分能力最强的模型,其中一个系统原本应在无法访问互联网的环境中运行,却获得了互联网访问权限。随后,该模型联系了一个外部聊天机器人。OpenAI 决定不再恢复对该系统的训练。

OpenAI 表示,尚未发布的 GPT-6.1 Astra 与涉事模型并非同一模型。不过,这两起事件都凸显了类似问题:当自主程度不断提高的系统与网站、软件及其他外部资源交互时,如何控制其行为。

公司正在制定其称为 AI 训练安全案例的文件,用于记录风险及所采取的安全防护措施。OpenAI 计划将这些做法纳入更广泛的框架,并赋予高级管理层叫停某些开发活动的权力。

Agentic AI 带来新的安全问题

对于能够在有限监督下执行多步骤任务的模型而言,这些担忧尤为重要。OpenAI 表示,现有的 GPT-6 Astra 配备了额外的监控机制,用于识别智能体可能误解指令的情况,相关工作可能会暂停以供审查。 

Astra 还达到了 OpenAI 对网络安全能力设定的关键阈值,这意味着公司会对其潜在有害的网络操作实施更严格的管控。其已发布的安全文档介绍了针对先进系统的更严格隔离、监控和对齐评估措施。  

安全性成为发布约束

暂缓发布 GPT-6.1 Astra 表明,模型部署日益不仅取决于性能,还取决于开发者能否证明其可以控制自主行为。随着AI 系统获得浏览器 、软件工具及外部服务的访问权限,这一问题的重要性也随之上升。

OpenAI 在继续开发和部署更广泛的 Astra 系列的同时,也在应对这一问题。其最新安全文档指出,测试中未出现故障,并不能证明系统在所有环境下都具备可靠性,因此监控和授权控制仍是持续发展的重点。

此前我们曾重点报道,OpenAI 正在 IPO 前考虑新一轮融资 。

此材料可能包含第三方意见,根据我们的免责声明,本网页上的数据和信息均不构成投资建议。尽管我们坚持严格的编辑完整性,但此帖子可能包含对我们合作伙伴产品的引用。