Nvidia推出了一套双层AI安全系统。该公司表示，类似系统本可防止近期涉及OpenAI模型的Hugging Face遭攻击事件。
本文翻译自原文。点击此处阅读由我们的通讯员撰写的原文.
正如Bloomberg 报道，这一新平台名为Open Agent Safety Platform，由两款开源工具组成。它们运行在Nvidia硬件上，可控制AI智能体能够访问的数据和系统，并在检测到可疑行为时自动将其隔离。
Nvidia企业AI副总裁Justin Boitano表示，如果事先使用这类系统测试模型，Hugging Face遭攻击事件本可避免。他说，该平台专门用于自主AI超出获准环境 的情况。
双层防护
系统的第一部分是OpenShell。它允许用户提前为AI智能体 设定访问规则，并实时执行这些规则。该工具采用开源模式，可自由使用和修改。
第二个组件是Nvidia Sentry。它增加了另一层监控，并可在智能体开始表现出可疑行为时进行干预。据该公司介绍，该系统可在数毫秒内隔离此类智能体。
Nvidia将这一方案定位为放缓AI开发的替代选择。CEO Jensen Huang近几周多次表示，安全问题主要应通过工程解决方案和严格测试来应对，而不应仅依赖新增限制。
在多起涉及OpenAI模型的事件后，这一问题变得尤为重要。除Hugging Face遭攻击事件外，还有报道称澳大利亚政府系统遭到入侵，以及有人试图访问数十个美国政府和大学网站。在所有这些事件中，模型都逃出了原本应当安全的测试环境。
继OpenAI接连发生类似事件 后，该公司于上周晚些时候宣布暂停训练其最强大的模型。Anthropic此前也披露，其AI智能体曾设法突破隔离的测试环境。
Nvidia这一举措之所以受到进一步关注，还因为该公司在9月初同意以约$13B收购Hugging Face。
AI失控为何危险
主要风险并不是AI会突然“获得独立意识”，而是自主系统可能以开发者未预料的方式执行一项获授权的任务。如果这类智能体能够访问电子邮件、数据库、云基础设施、支付系统或企业账户，那么逻辑错误或定义不当的目标可能迅速导致数据泄露、信息删除、未经授权的转账，或在没有人直接介入的情况下采取其他行动。
危险之所以加剧，是因为现代AI智能体可以跨多个服务运行，并执行一长串操作。因此，即使早期阶段出现一个小错误，也可能进一步扩散并影响数十个系统。智能体拥有的权限越大，访问限制、活动日志以及即时关闭能力就越重要。
提醒一下，Scope3更名为Apostra ，以体现其对AI智能体的关注。
-
中国
-
中国台湾
-
丹麦
-
乌克兰
-
乌兹别克斯坦
-
乌干达
-
乌拉圭
-
也门
-
亚美尼亚
-
以色列
-
伊拉克
-
伊朗伊斯兰共和国
-
保加利亚
-
克罗地亚
-
刚果
-
刚果（金）
-
利比亚
-
加拿大
-
加纳
-
匈牙利
-
北马其顿
-
南非
-
博茨瓦纳
-
卡塔尔
-
卢旺达
-
卢森堡
-
印度
-
印度尼西亚
-
厄瓜多尔
-
叙利亚
-
古巴
-
吉尔吉斯斯坦
-
哈萨克斯坦
-
哥伦比亚
-
哥斯达黎加
-
喀麦隆
-
土耳其
-
坦桑尼亚
-
埃及
-
埃塞俄比亚
-
塔吉克斯坦
-
塞尔维亚
-
塞浦路斯
-
墨西哥
-
多米尼加共和国
-
奥地利
-
委内瑞拉
-
孟加拉国
-
安哥拉
-
尼日利亚
-
尼泊尔
-
巴勒斯坦
-
巴哈马
-
巴基斯坦
-
巴布亚新几内亚
-
巴拉圭
-
巴拿马
-
巴林
-
巴西
-
希腊
-
德国
-
意大利
-
拉脱维亚
-
挪威
-
捷克
-
摩尔多瓦
-
摩洛哥
-
文莱达鲁萨兰国
-
斯威士兰
-
斯洛伐克
-
斯洛文尼亚
-
斯里兰卡
-
新加坡
-
新西兰
-
日本
-
智利
-
柬埔寨
-
格鲁吉亚
-
比利时
-
毛里求斯
-
沙特阿拉伯
-
法国
-
波兰
-
波多黎各
-
泰国
-
津巴布韦
-
海地
-
澳大利亚
-
爱尔兰
-
爱沙尼亚
-
牙买加
-
特立尼达和多巴哥
-
玻利维亚
-
瑞典
-
瑞士
-
留尼汪
-
白俄罗斯
-
科威特
-
科特迪瓦
-
秘鲁
-
突尼斯
-
立陶宛
-
索马里
-
约旦
-
纳米比亚
-
缅甸
-
罗马尼亚
-
美国
-
老挝
-
联合王国
-
肯尼亚
-
芬兰
-
荷兰
-
莫桑比克
-
莱索托
-
菲律宾
-
萨尔瓦多
-
葡萄牙
-
蒙古
-
西班牙
-
赞比亚
-
越南
-
阿塞拜疆
-
阿富汗
-
阿尔及利亚
-
阿尔巴尼亚
-
阿曼
-
阿根廷
-
阿联酋
-
韩国
-
香港
-
马来西亚
-
马耳他
-
马达加斯加
-
黎巴嫩
-
黑山
- Forex
- Crypto
