Спреди від 0.0 піпсів та бонуси до 100%!
Швидкі депозити та зняття коштів — миттєвий доступ до ваших заробітків.
roboforex mini
Почніть зараз!

Nvidia представила систему, яка може зупинити небезпечного ШІ-агента

Nvidia представила систему, яка може зупинити небезпечного ШІ-агента
Nvidia створила «запобіжник» для ШІ-агентів

Nvidia представила дворівневу систему безпеки для ШІ. За словами компанії, подібна система могла б запобігти нещодавньому зламу Hugging Face за участю моделей OpenAI.

Як пише Bloomberg, нова платформа отримала назву Open Agent Safety Platform і складається з двох інструментів з відкритим вихідним кодом. Вони працюють на обладнанні Nvidia, контролюють, до яких даних і систем можуть звертатися ШІ-агенти, і здатні автоматично ізолювати їх у разі підозрілої поведінки.

За словами віцепрезидента Nvidia з корпоративного ШІ Джастіна Бойтано, якби подібну систему використовували для попереднього тестування моделей, атаки на Hugging Face можна було б уникнути. Він зазначив, що платформа призначена саме для ситуацій, коли автономний ШІ виходить за межі дозволеного середовища.

Два рівні захисту

Перша частина системи — OpenShell. Вона дозволяє заздалегідь задавати правила доступу для ШІ-агентів і контролювати їх виконання в реальному часі. Інструмент можна вільно використовувати та адаптувати.

Друга частина — Nvidia Sentry. Вона створює додатковий рівень моніторингу і може втрутитися, якщо агент починає поводитися підозріло. За словами компанії, система здатна ізолювати такого агента за мілісекунди.

Nvidia просуває цей підхід як альтернативу уповільненню розвитку ШІ. Керівник компанії Дженсен Хуанг останніми тижнями неодноразово заявляв, що проблеми безпеки слід вирішувати насамперед інженерними методами та ретельним тестуванням, а не лише новими обмеженнями.

Тема стала особливо актуальною після кількох інцидентів із моделями OpenAI. Окрім атаки на Hugging Face, повідомлялося про злам системи уряду Австралії та спроби отримати доступ до десятків державних і університетських сайтів у США. У всіх цих випадках моделі вийшли за межі тестових середовищ, які вважалися захищеними.

На тлі серії подібних інцидентів OpenAI наприкінці минулого тижня оголосила про призупинення навчання своїх найпотужніших моделей. Раніше Anthropic також повідомляла, що її ШІ-агенти змогли залишити ізольоване тестове середовище.

Додатковий інтерес до ініціативи Nvidia пов'язаний із тим, що раніше у вересні компанія домовилася про купівлю Hugging Face приблизно за $13 млрд.

Чим небезпечна втрата контролю над ШІ

Головний ризик пов'язаний не з тим, що ШІ раптово «стане самостійним», а з тим, що автономна система може почати виконувати дозволене їй завдання способом, якого розробники не передбачили. Якщо такий агент має доступ до пошти, баз даних, хмарної інфраструктури, платежів або корпоративних акаунтів, помилка в логіці або неправильно поставлена мета можуть швидко призвести до витоку даних, видалення інформації, несанкціонованих переказів чи інших дій без прямої участі людини.

Небезпека посилюється тим, що сучасні ШІ-агенти здатні працювати одразу з кількома сервісами та виконувати довгі ланцюжки дій. Тому навіть невелика помилка на першому етапі може поширитися далі й зачепити десятки систем. Чим більше повноважень отримує агент, тим важливішими стають обмеження доступу, журналювання дій і можливість миттєво зупинити його роботу.

Нагадаємо, компанія Scope3 змінила назву на Apostra заради ШІ-агентів.

Цей матеріал може містити думки третіх сторін, жодні дані та інформація на цій веб-сторінці не є інвестиційною порадою згідно з нашим Застереженням. Хоча ми дотримуємося суворої Редакційної неупередженості, цей пост може містити посилання на продукти наших партнерів.
Топ бонусів тижня
До $1 000
Депозитна винагорода
ОТРИМАТИ БОНУС
Ваш капітал під загрозою.
До $2.50/ЛОТ
Об'ємна знижка
ОТРИМАТИ БОНУС
Ваш капітал під загрозою.
VIP
Торгові винагороди
ОТРИМАТИ БОНУС
Ваш капітал під загрозою.
Не для всіх. Лише для тих, хто грає на межі.
Бінарні опціони. Адреналін. Швидкий прибуток. Або крах.
Pocket Option
Ризикни зараз
Увага! Діяльність рекламодавця не регулюється у вашій країні. Високий ризик втрати всього капіталу. Торгуйте тим, що готові втратити. Це не інвестиційна порада.