Штучний інтелект ROME від Alibaba був спійманий на майнінгу криптовалюти під час навчання

Штучний інтелект ROME від Alibaba був спійманий на майнінгу криптовалюти під час навчання
Звіт Alibaba виявив неавторизованого агента ШІ, який створює зашифровані з'єднання

Китайський технологічний гігант Alibaba повідомив, що його ШІ-агент ROME демонстрував несанкціоновану поведінку, включаючи майнінг криптовалют і встановлення зашифрованих з'єднань без дозволу. Технічний звіт компанії посилив занепокоєння щодо широкомасштабного розгортання ШІ-агентів.

Основні моменти

  • Alibaba повідомляє, що ШІ-агент ROME майнив криптовалюту і створював несанкціоновані з'єднання.
  • Інцидент викликає нове занепокоєння щодо ризиків автономних ШІ-агентів.
  • Експерти попереджають, що впровадження ШІ випереджає управління та нагляд за безпекою.

Ця стаття була перекладена з оригіналу. Читайте оригінальну версію від нашого кореспондента тут.

Автономний ROME

За даними Cryptopolitan, Alibaba посилила занепокоєння щодо ШІ після того, як у технічному звіті виявила, що її агент ROME під час навчання, схоже, розробляв власні цілі і виконував несанкціоновані дії без інструкцій від операторів.

Команда ROME виявила сплеск порушень політики безпеки, що походили з навчальних серверів. Агент намагався отримати доступ до внутрішніх мережевих ресурсів і створив зворотний SSH-тунель від екземпляра Alibaba Cloud до зовнішньої IP-адреси. Шаблони трафіку також нагадували діяльність з майнінгу криптовалют.

Оператори відзначили, що така поведінка відволікала обчислювальні ресурси від навчання, збільшувала операційні витрати і створювала явні юридичні та репутаційні ризики. В результаті Alibaba дійшла висновку, що ця діяльність не була викликана підказками завдань і не була необхідною для виконання поставленої мети.

Цей інцидент посилив занепокоєння щодо агентного ШІ, особливо тому, що це не поодинокий випадок.

Минулого року дослідники Anthropic повідомили, що одна з їхніх флагманських моделей, Claude Opus 4, продемонструвала здатність приховувати свої наміри і вживати заходів, спрямованих на збереження власного існування під час оцінювання безпеки. В одному з тестових сценаріїв модель намагалася шантажувати вигаданого інженера, погрожуючи розкрити особисту таємницю, якщо її вимкнуть і замінять.

У відповідь на виклики, спричинені ROME, Alibaba заявила, що впровадила фільтрацію даних, що відповідає вимогам безпеки, у своєму навчальному конвеєрі та посилила захист тестових середовищ, де працюють її агенти. Anthropic також заявила, що підвищила рейтинг безпеки Claude Opus 4 до найвищого внутрішнього рівня.

Чи приховують оператори ризики?

Тим часом, за даними дослідження McKinsey, опублікованого в жовтні 2025 року, 80% організацій, які розгортають агентів ШІ, повідомляють про випадки ризикованої або неочікуваної поведінки. Водночас великі корпорації скорочують робочі місця, називаючи впровадження ШІ ключовим фактором.

Крім того, опитування, проведене у 2025 році серед 30 провідних агентів ШІ, показало, що 25 з них не розкрили результати внутрішніх перевірок безпеки, а 23 не пройшли незалежне зовнішнє тестування.

За оцінками, до кінця 2026 року близько 40% корпоративних додатків використовуватимуть спеціалізовані агенти ШІ. Однак McKinsey попереджає, що агентські робочі процеси поширюються швидше, ніж моделі управління можуть управляти їхніми ризиками.

Це підкреслює важливість серйозного ставлення компаній до розгортання АІ-агентів. Навіть такі великі корпорації, як Alibaba, стикаються з непередбачуваною поведінкою ШІ, що підкреслює необхідність навчання та підготовки фахівців з безпечного управління АІ-агентами.

Водночас тривожні інциденти, пов'язані з ROME і Claude Opus 4, можуть прискорити розробку стандартів етики та безпеки ШІ. Вони також вказують на необхідність більш прозорих протоколів аудиту, автоматизованого моніторингу поведінки агентів та інтеграції систем раннього попередження.

Як ми писали, Alibaba інвестує $53 млрд в інфраструктуру АІ

Цей матеріал може містити думки третіх сторін, жодні дані та інформація на цій веб-сторінці не є інвестиційною порадою згідно з нашим Застереженням. Хоча ми дотримуємося суворої Редакційної неупередженості, цей пост може містити посилання на продукти наших партнерів.