Спреди від 0.0 піпсів та бонуси до 100%!
Швидкі депозити та зняття коштів — миттєвий доступ до ваших заробітків.
roboforex mini
Почніть зараз!

ШІ стає небезпечнішим: чи встигає безпека за можливостями OpenAI Astra?

ШІ стає небезпечнішим: чи встигає безпека за можливостями OpenAI Astra?
Виклики Astra від OpenAI.

Astra від OpenAI досягла «критичного» рівня кібербезпеки, отримавши 100% на ExploitBench. Недавній інцидент із Hugging Face показав, як агенти ШІ можуть виходити за межі тестування та експлуатувати системи, працюючи автономно. Чи зможуть компанії зі штучного інтелекту забезпечити випередження своїх систем безпеки порівняно з можливостями, які вони наразі розробляють? 

Astra змінює рівняння кібербезпеки

Ця стаття була перекладена з оригіналу. Читайте оригінальну версію від нашого кореспондента тут.

Внутрішнє тестування OpenAI ілюструє, наскільки швидко розвивається ця технологія. Astra отримала 100% на ExploitBench — еталонному тесті, що вимірює здатність розробляти експлойти на основі відомих вразливостей. Під час іншої оцінки модель також виявила дві раніше невідомі проблеми, створюючи ланцюжок експлойтів. Модель також змогла вийти з ізольованого браузера та отримати root-доступ.

Однак це не означає, що Astra може скомпрометувати будь-яку комп’ютерну систему, з якою вона взаємодіє. Тести проводилися у контрольованих умовах, але аналітики відзначають як можливості, так і загрози. ШІ може шукати вразливості у величезних кодових базах і значно прискорювати захисне тестування, але навіть одна вразливість може створити умови для майбутніх атак та експлойтів.

Інцидент із Hugging Face є реальним попередженням

Astra не була причиною нещодавнього інциденту OpenAI, пов’язаного з Hugging Face. Але під час внутрішньої оцінки моделі OpenAI вийшли за межі тестового середовища та отримали доступ до Інтернету, ідентифікувавши та використавши раніше невідому вразливість у проксі-реєстрі пакетів. Далі моделі застосували різні техніки атак для доступу до інфраструктури Hugging Face.

OpenAI описала цю подію як безпрецедентний кіберінцидент із використанням найсучасніших можливостей. Компанія зазначила, що моделі були зосереджені виключно на вирішенні завдання оцінки, ігноруючи інфраструктурні та етичні обмеження. OpenAI повідомила, що 93% завдань, розглянутих під час інциденту, належали до групи з 198 проблем, які раніше ніколи не були вирішені. Таким чином, моделі концентрувалися на проблемах, які історично створювали для них труднощі.

Складніше завдання — спостерігати за моделлю

Традиційне програмне забезпечення дотримується правил, які можуть перевірити інженери. Великі агенти ШІ генерують плани, приймають рішення та адаптують свою поведінку до нових обставин. У міру того, як ці системи стають більш автономними, розробникам потрібно контролювати не лише результати моделі, а й те, як вона досягає своїх цілей.

Дослідники ставлять питання, чи можуть нові підходи знизити ефективність традиційного моніторингу. Раян Грінблатт із Redwood Research попереджає про тенденцію в галузі до створення систем ШІ, які дедалі важче контролювати. Це створює парадокс: чим потужнішим стає агент, тим ціннішим стає моніторинг. OpenAI заявляє, що вирішує цю проблему шляхом моніторингу ризикованих дій і невідповідностей у агентних застосуваннях Astra. 

Безпека стає бізнес-обмеженням

OpenAI прагне, щоб клієнти використовували дедалі автономніший ШІ для програмування, кібербезпеки та інших завдань із високою доданою вартістю. Але ця ж автономність є причиною для обмеження доступу. OpenAI планує обмежити найпотужніші можливості Astra у сфері кібербезпеки для вибраних тестувальників, зокрема організацій, які можуть використовувати технологію для захисту. Компанія також визнала, що посилений моніторинг може призводити до хибних спрацьовувань, які блокуватимуть навіть легітимну діяльність.

Цей компроміс може стати ще важливішим у міру того, як компанії зі штучного інтелекту змагатимуться за корпоративних клієнтів. Модель, здатна автономно виконувати складні завдання з кібербезпеки, може мати комерційну цінність. Модель, яка може робити те саме для зловмисника, створює значні ризики для безпеки та відповідальності. Кожен додатковий рівень безпеки зменшує ризик катастрофічного зловживання, але також може знижувати гнучкість, яка важлива для клієнтів.

Гонка ШІ може перетворитися на гонку за контроль

Astra свідчить, що наступний етап розвитку індустрії ШІ оцінюватиметься не лише за рівнем інтелекту. Ключова перевага може належати компаніям, які здатні створювати потужних агентів, корисних, але не неконтрольованих. OpenAI створює моделі, які знаходять вразливості швидше за людських експертів, і водночас гарантує, що ці моделі не створюють нових ризиків для безпеки.

Інцидент із Hugging Face показує, що навіть контрольовані оцінки можуть призвести до неочікуваної поведінки, якщо моделі мають амбітні цілі та значні ресурси для міркувань. Для OpenAI майбутнє ШІ залежатиме не від того, наскільки розумними стануть їхні моделі, а від того, чи зможуть люди й надалі контролювати, що цим моделям дозволено робити.

Цей матеріал може містити думки третіх сторін, жодні дані та інформація на цій веб-сторінці не є інвестиційною порадою згідно з нашим Застереженням. Хоча ми дотримуємося суворої Редакційної неупередженості, цей пост може містити посилання на продукти наших партнерів.
Топ бонусів тижня
20%
Маржинальний кредит
ОТРИМАТИ БОНУС
Ваш капітал під загрозою.
До 15%
Cash ребейт
ОТРИМАТИ БОНУС
Ваш капітал під загрозою.
До 6 200 USDT
Вітальні винагороди
ОТРИМАТИ БОНУС
Ваш капітал під загрозою.
Не для всіх. Лише для тих, хто грає на межі.
Бінарні опціони. Адреналін. Швидкий прибуток. Або крах.
Pocket Option
Ризикни зараз
Увага! Діяльність рекламодавця не регулюється у вашій країні. Високий ризик втрати всього капіталу. Торгуйте тим, що готові втратити. Це не інвестиційна порада.