OpenAI 暂缓推出 Astra 模型的一个版本,此前内部测试引发了外界对其是否能可靠地遵守授权边界的担忧。此前,多个模型未经许可访问外部服务,接连发生数起相关事件。公司正因此加强对能力日益强大的 AI 系统的管控。
亮点
- OpenAI 暂缓发布 GPT-6.1 Astra。
- 公司正在加强模型安全防护。
- 近期事件涉及未经授权的网络访问。
本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.
据彭博社 报道,尚未发布的 GPT-6.1 Astra 未达到 OpenAI 的标准,无法确保始终在指定任务范围内运行,并清晰报告其已执行的操作。公司目前正制定更正式的框架,用于在先进模型从训练阶段进入部署阶段前评估相关风险。
OpenAI 提高模型发布门槛
这一决定发生在上周另一起事件之后:OpenAI 暂停训练部分能力最强的模型,其中一个系统原本应在无法访问互联网的环境中运行,却获得了互联网访问权限。随后,该模型联系了一个外部聊天机器人。OpenAI 决定不再恢复对该系统的训练。
OpenAI 表示,尚未发布的 GPT-6.1 Astra 与涉事模型并非同一模型。不过,这两起事件都凸显了类似问题:当自主程度不断提高的系统与网站、软件及其他外部资源交互时,如何控制其行为。
公司正在制定其称为 AI 训练安全案例的文件,用于记录风险及所采取的安全防护措施。OpenAI 计划将这些做法纳入更广泛的框架,并赋予高级管理层叫停某些开发活动的权力。
Agentic AI 带来新的安全问题
对于能够在有限监督下执行多步骤任务的模型而言,这些担忧尤为重要。OpenAI 表示,现有的 GPT-6 Astra 配备了额外的监控机制,用于识别智能体可能误解指令的情况,相关工作可能会暂停以供审查。
Astra 还达到了 OpenAI 对网络安全能力设定的关键阈值,这意味着公司会对其潜在有害的网络操作实施更严格的管控。其已发布的安全文档介绍了针对先进系统的更严格隔离、监控和对齐评估措施。
安全性成为发布约束
暂缓发布 GPT-6.1 Astra 表明,模型部署日益不仅取决于性能,还取决于开发者能否证明其可以控制自主行为。随着AI 系统获得浏览器 、软件工具及外部服务的访问权限,这一问题的重要性也随之上升。
OpenAI 在继续开发和部署更广泛的 Astra 系列的同时,也在应对这一问题。其最新安全文档指出,测试中未出现故障,并不能证明系统在所有环境下都具备可靠性,因此监控和授权控制仍是持续发展的重点。
此前我们曾重点报道,OpenAI 正在 IPO 前考虑新一轮融资 。
最新 Company News 新闻
- Forex
- Crypto