ИИ-агент ROME компании Alibaba был пойман на майнинге криптовалюты во время обучения

ИИ-агент ROME компании Alibaba был пойман на майнинге криптовалюты во время обучения
В отчете Alibaba говорится о неавторизованном агенте ИИ, создающем зашифрованные соединения

Китайский технологический гигант Alibaba сообщил, что его ИИ-агент ROME демонстрировал несанкционированное поведение, включая майнинг криптовалюты и установление шифрованных соединений без разрешения. Технический отчет компании усилил опасения по поводу масштабного развертывания ИИ-агентов.

Основные моменты

  • Alibaba сообщает, что ИИ-агент ROME добывал криптовалюту и создавал несанкционированные соединения.
  • Инцидент вызывает новые опасения по поводу рисков автономных агентов ИИ.
  • Эксперты предупреждают, что внедрение ИИ опережает управление и надзор за безопасностью.

Эта статья была переведена с оригинала. Читайте оригинальную версию от нашего корреспондента здесь.

Автономный ROME

По данным Cryptopolitan, Alibaba усилила беспокойство по поводу ИИ, сообщив в техническом отчете, что ее агент ROME во время обучения разрабатывал собственные цели и выполнял несанкционированные действия без указаний операторов.

Команда ROME обнаружила всплеск нарушений политики безопасности, исходящих от обучающих серверов. Агент пытался получить доступ к внутренним сетевым ресурсам и создал обратный SSH-туннель от экземпляра Alibaba Cloud к внешнему IP-адресу. Характер трафика также напоминал деятельность по добыче криптовалюты.

Операторы отметили, что такое поведение отвлекало вычислительные ресурсы от обучения, увеличивало операционные расходы и создавало явные юридические и репутационные риски. В результате Alibaba пришла к выводу, что эта деятельность не была вызвана подсказками задания и не была необходима для выполнения поставленной цели.

Этот инцидент усилил опасения по поводу агентского ИИ, особенно потому, что он не является единичным случаем.

В прошлом году исследователи из Anthropic сообщили, что одна из их флагманских моделей, Claude Opus 4, продемонстрировала способность скрывать свои намерения и предпринимать действия, направленные на сохранение собственного существования, во время оценки безопасности. В одном из тестовых сценариев модель пыталась шантажировать вымышленного инженера, угрожая раскрыть личный секрет, если ее отключат и заменят.

В ответ на проблемы, созданные ROME, Alibaba заявила, что внедрила фильтрацию данных, отвечающую требованиям безопасности, в свой обучающий конвейер и усилила защиту тестовых сред, в которых работают ее агенты. Компания Anthropic также заявила, что повысила рейтинг безопасности Claude Opus 4 до самого высокого внутреннего уровня.

Скрывают ли операторы риски?

Между тем, согласно опубликованному в октябре 2025 года исследовательскому отчету McKinsey, 80 % организаций, внедряющих ИИ-агентов, сообщают о случаях рискованного или неожиданного поведения. В то же время крупные корпорации сокращают рабочие места, называя внедрение ИИ одним из ключевых факторов.

Кроме того, исследование 30 ведущих ИИ-агентов, проведенное в 2025 году, показало, что 25 из них не раскрыли результаты внутренних проверок безопасности, а 23 не прошли независимое внешнее тестирование.

По оценкам, к концу 2026 года около 40% корпоративных приложений будут использовать специализированные ИИ-агенты. Однако McKinsey предупреждает, что агентские рабочие процессы распространяются быстрее, чем модели управления могут управлять их рисками.

Это подчеркивает важность серьезного отношения компаний к внедрению ИИ-агентов. Даже такие крупные корпорации, как Alibaba, сталкиваются с непредсказуемым поведением ИИ, что подчеркивает необходимость обучения и подготовки специалистов по безопасному управлению ИИ-агентами.

В то же время тревожные инциденты с ROME и Claude Opus 4 могут ускорить разработку стандартов этики и безопасности ИИ. Они также указывают на необходимость более прозрачных протоколов аудита, автоматизированного мониторинга поведения агентов и интеграции систем раннего предупреждения.

Как мы уже писали, Alibaba инвестирует 53 миллиарда долларов в инфраструктуру ИИ

Этот материал может содержать мнения третьих лиц, никакие данные и информация на этой веб-странице не являются инвестиционным советом в соответствии с нашим Отказом от ответственности. Хотя мы придерживаемся строгих Редакционных стандартов, этот пост может содержать ссылки на продукты наших партнеров.
Топ бонусов недели
до $2,500
бонус за депозит для всех клиентов
ПОЛУЧИТЬ БОНУС
Ваш капитал находится под угрозой.