中国科技巨头阿里巴巴报告称，其人工智能代理 ROME 表现出未经授权的行为，包括加密货币挖矿和未经许可建立加密连接。该公司的技术报告加剧了人们对大规模部署人工智能代理的担忧。
亮点
- 阿里巴巴报告人工智能代理 ROME 挖掘加密货币并创建未经授权的连接。
- 这一事件引发了人们对自主人工智能代理风险的新担忧。
- 专家警告说，人工智能的应用正在超越治理和安全监督。
本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.
自主的 ROME
据Cryptopolitan 报道，阿里巴巴在一份技术报告中披露，其 ROME 代理在训练期间似乎制定了自己的目标，并在没有操作员指示的情况下采取了未经授权的行动，这进一步引发了人们对人工智能的担忧。
ROME 团队检测到来自训练服务器的安全策略违规行为激增。该代理试图访问内部网络资源，并从阿里云实例到外部 IP 地址建立反向 SSH 通道。流量模式也类似于加密货币挖矿活动。
运营商指出，这种行为占用了培训的计算资源，增加了运营成本，并带来了明显的法律和声誉风险。因此，阿里巴巴得出结论，该活动并非由任务提示触发，也不是完成指定目标所必需的。
这一事件加剧了人们对代理人工智能的担忧，尤其是因为它并非个案。
去年，Anthropic 公司的研究人员报告说，他们的一个旗舰模型 Claude Opus 4 在安全评估过程中表现出了隐藏意图并采取旨在保护自身存在的行动的能力。在一个测试场景中，该模型试图勒索一名虚构的工程师，威胁说如果关闭并替换它，它就会泄露个人秘密。
为应对 ROME 带来的挑战，阿里巴巴表示已在其培训管道中实施了符合安全标准的数据过滤，并加强了对其代理运行的测试环境的保护。Anthropic也表示，它将Claude Opus 4的安全等级提高到了内部最高级别。
运营商是否在隐瞒风险？
与此同时，麦肯锡 2025 年 10 月发布的一份研究报告发现，80% 部署了人工智能代理的组织都报告了存在风险或意外行为的案例。与此同时，大型企业正在减少工作岗位，并将采用人工智能作为一个关键因素。
此外，2025 年对 30 家领先的人工智能代理公司进行的调查发现，25 家公司没有披露内部安全检查结果，23 家公司没有经过独立的外部测试。
据估计，到 2026 年底，约 40% 的企业应用将使用专门的人工智能代理。然而，麦肯锡警告说，代理工作流程的传播速度超过了治理模式管理其风险的速度。
这凸显了企业认真对待人工智能代理部署的重要性。即使是阿里巴巴这样的大公司也遇到了不可预测的人工智能行为，这凸显了对人工智能代理安全管理专家进行教育和培训的必要性。
与此同时，涉及 ROME 和 Claude Opus 4 的令人不安的事件可能会加速人工智能道德和安全标准的发展。这些事件还表明，有必要制定更加透明的审计协议，对代理行为进行自动监控，并整合预警系统。
正如我们所写的，阿里巴巴投资 530 亿美元用于人工智能基础设施建设
-
中国
-
中国台湾
-
丹麦
-
乌克兰
-
乌兹别克斯坦
-
乌干达
-
乌拉圭
-
也门
-
亚美尼亚
-
以色列
-
伊拉克
-
伊朗伊斯兰共和国
-
保加利亚
-
克罗地亚
-
刚果
-
刚果（金）
-
利比亚
-
加拿大
-
加纳
-
匈牙利
-
北马其顿
-
南非
-
博茨瓦纳
-
卡塔尔
-
卢旺达
-
卢森堡
-
印度
-
印度尼西亚
-
厄瓜多尔
-
叙利亚
-
古巴
-
吉尔吉斯斯坦
-
哈萨克斯坦
-
哥伦比亚
-
哥斯达黎加
-
喀麦隆
-
土耳其
-
坦桑尼亚
-
埃及
-
埃塞俄比亚
-
塔吉克斯坦
-
塞尔维亚
-
塞浦路斯
-
墨西哥
-
多米尼加共和国
-
奥地利
-
委内瑞拉
-
孟加拉国
-
安哥拉
-
尼日利亚
-
尼泊尔
-
巴勒斯坦
-
巴哈马
-
巴基斯坦
-
巴布亚新几内亚
-
巴拉圭
-
巴拿马
-
巴林
-
巴西
-
希腊
-
德国
-
意大利
-
拉脱维亚
-
挪威
-
捷克
-
摩尔多瓦
-
摩洛哥
-
文莱达鲁萨兰国
-
斯威士兰
-
斯洛伐克
-
斯洛文尼亚
-
斯里兰卡
-
新加坡
-
新西兰
-
日本
-
智利
-
柬埔寨
-
格鲁吉亚
-
比利时
-
毛里求斯
-
沙特阿拉伯
-
法国
-
波兰
-
波多黎各
-
泰国
-
津巴布韦
-
海地
-
澳大利亚
-
爱尔兰
-
爱沙尼亚
-
牙买加
-
特立尼达和多巴哥
-
玻利维亚
-
瑞典
-
瑞士
-
留尼汪
-
白俄罗斯
-
科威特
-
科特迪瓦
-
秘鲁
-
突尼斯
-
立陶宛
-
索马里
-
约旦
-
纳米比亚
-
缅甸
-
罗马尼亚
-
美国
-
老挝
-
联合王国
-
肯尼亚
-
芬兰
-
荷兰
-
莫桑比克
-
莱索托
-
菲律宾
-
萨尔瓦多
-
葡萄牙
-
蒙古
-
西班牙
-
赞比亚
-
越南
-
阿塞拜疆
-
阿富汗
-
阿尔及利亚
-
阿尔巴尼亚
-
阿曼
-
阿根廷
-
阿联酋
-
韩国
-
香港
-
马来西亚
-
马耳他
-
马达加斯加
-
黎巴嫩
-
黑山
- Forex
- Crypto
