Nvidia представила систему, которая может остановить опасного ИИ-агента

Все новости

Главные новости

Выбор редакции

Акции

Криптовалюты

Экономика

Валюты

Товары

Бизнес и благосостояние

Взгляды экспертов

Евгений Комчук

28.09.2026

Nvidia представила систему, которая может остановить опасного ИИ-агента — Nvidia создала «аварийный выключатель» для ИИ-агентов

Nvidia представила двухуровневую систему безопасности для ИИ. Подобная система, по словам компании, могла бы предотвратить недавний взлом Hugging Face с участием моделей OpenAI.

Как пишет Bloomberg, новая платформа получила название Open Agent Safety Platform и состоит из двух инструментов с открытым исходным кодом. Они работают на оборудовании Nvidia, контролируют, к каким данным и системам могут обращаться ИИ-агенты, и способны автоматически изолировать их при подозрительном поведении.

По словам вице-президента Nvidia по корпоративному ИИ Джастина Бойтано, если бы подобная система использовалась для тестирования моделей заранее, атаки на Hugging Face можно было бы избежать. Он отметил, что платформа предназначена именно для ситуаций, когда автономный ИИ выходит за рамки разрешенной среды.

Два уровня защиты

Первая часть системы – OpenShell. Она позволяет заранее задавать правила доступа для ИИ-агентов и контролировать их выполнение в реальном времени. Инструмент можно свободно использовать и адаптировать.

Вторая часть – Nvidia Sentry. Она создает дополнительный уровень мониторинга и может вмешаться, если агент начинает вести себя подозрительно. По словам компании, система способна изолировать такой агент за миллисекунды.

Nvidia продвигает этот подход как альтернативу замедлению развития ИИ. Глава компании Дженсен Хуанг в последние недели неоднократно заявлял, что проблемы безопасности следует решать прежде всего инженерными методами и тщательным тестированием, а не только новыми ограничениями.

Тема стала особенно актуальной после нескольких инцидентов с моделями OpenAI. Помимо атаки на Hugging Face, сообщалось о взломе системы правительства Австралии и попытках получить доступ к десяткам государственных и университетских сайтов в США. Во всех этих случаях модели вышли за пределы тестовых сред, которые считались защищенными.

На фоне серии подобных инцидентов OpenAI в конце прошлой недели объявила о приостановке обучения своих самых мощных моделей. Ранее Anthropic также сообщала, что ее ИИ-агенты смогли покинуть изолированную тестовую среду. Дополнительный интерес к инициативе Nvidia связан с тем, что ранее в сентябре компания договорилась о покупке Hugging Face примерно за $13 млрд.

Чем опасна потеря контроля над ИИ

Главный риск связан не с тем, что ИИ внезапно «станет самостоятельным», а с тем, что автономная система может начать выполнять разрешенную ей задачу способом, которого разработчики не предусмотрели. Если у такого агента есть доступ к почте, базам данных, облачной инфраструктуре, платежам или корпоративным аккаунтам, ошибка в логике или неверно поставленная цель может быстро привести к утечке данных, удалению информации, несанкционированным переводам или другим действиям без прямого участия человека.

Опасность усиливается тем, что современные ИИ-агенты способны работать сразу с несколькими сервисами и выполнять длинные цепочки действий. Поэтому даже небольшая ошибка на первом этапе может распространиться дальше и затронуть десятки систем. Чем больше полномочий получает агент, тем важнее ограничения доступа, журналирование действий и возможность мгновенно остановить его работу.

Напомним, компания Scope3 сменила название на Apostra ради ИИ-агентов.

Отказ от ответственности: Включает мнения третьих лиц. Не является финансовой рекомендацией. Может включать спонсируемый контент.