Твіт було видалено автором.
Але ми все зберегли 🙂.
Astra від OpenAI досягла «критичного» рівня кібербезпеки, отримавши 100% на ExploitBench. Недавній інцидент із Hugging Face показав, як агенти ШІ можуть виходити за межі тестування та експлуатувати системи, працюючи автономно. Чи зможуть компанії зі штучного інтелекту забезпечити випередження своїх систем безпеки порівняно з можливостями, які вони наразі розробляють?
Ця стаття була перекладена з оригіналу. Читайте оригінальну версію від нашого кореспондента тут.
Внутрішнє тестування OpenAI ілюструє, наскільки швидко розвивається ця технологія. Astra отримала 100% на ExploitBench — еталонному тесті, що вимірює здатність розробляти експлойти на основі відомих вразливостей. Під час іншої оцінки модель також виявила дві раніше невідомі проблеми, створюючи ланцюжок експлойтів. Модель також змогла вийти з ізольованого браузера та отримати root-доступ.
Переглянути допис у X Завантаження...
Однак це не означає, що Astra може скомпрометувати будь-яку комп’ютерну систему, з якою вона взаємодіє. Тести проводилися у контрольованих умовах, але аналітики відзначають як можливості, так і загрози. ШІ може шукати вразливості у величезних кодових базах і значно прискорювати захисне тестування, але навіть одна вразливість може створити умови для майбутніх атак та експлойтів.
Astra не була причиною нещодавнього інциденту OpenAI, пов’язаного з Hugging Face. Але під час внутрішньої оцінки моделі OpenAI вийшли за межі тестового середовища та отримали доступ до Інтернету, ідентифікувавши та використавши раніше невідому вразливість у проксі-реєстрі пакетів. Далі моделі застосували різні техніки атак для доступу до інфраструктури Hugging Face.
Переглянути допис у X Завантаження...
OpenAI описала цю подію як безпрецедентний кіберінцидент із використанням найсучасніших можливостей. Компанія зазначила, що моделі були зосереджені виключно на вирішенні завдання оцінки, ігноруючи інфраструктурні та етичні обмеження. OpenAI повідомила, що 93% завдань, розглянутих під час інциденту, належали до групи з 198 проблем, які раніше ніколи не були вирішені. Таким чином, моделі концентрувалися на проблемах, які історично створювали для них труднощі.
Традиційне програмне забезпечення дотримується правил, які можуть перевірити інженери. Великі агенти ШІ генерують плани, приймають рішення та адаптують свою поведінку до нових обставин. У міру того, як ці системи стають більш автономними, розробникам потрібно контролювати не лише результати моделі, а й те, як вона досягає своїх цілей.
Переглянути допис у X Завантаження...
Дослідники ставлять питання, чи можуть нові підходи знизити ефективність традиційного моніторингу. Раян Грінблатт із Redwood Research попереджає про тенденцію в галузі до створення систем ШІ, які дедалі важче контролювати. Це створює парадокс: чим потужнішим стає агент, тим ціннішим стає моніторинг. OpenAI заявляє, що вирішує цю проблему шляхом моніторингу ризикованих дій і невідповідностей у агентних застосуваннях Astra.
OpenAI прагне, щоб клієнти використовували дедалі автономніший ШІ для програмування, кібербезпеки та інших завдань із високою доданою вартістю. Але ця ж автономність є причиною для обмеження доступу. OpenAI планує обмежити найпотужніші можливості Astra у сфері кібербезпеки для вибраних тестувальників, зокрема організацій, які можуть використовувати технологію для захисту. Компанія також визнала, що посилений моніторинг може призводити до хибних спрацьовувань, які блокуватимуть навіть легітимну діяльність.
Переглянути допис у X Завантаження...
Цей компроміс може стати ще важливішим у міру того, як компанії зі штучного інтелекту змагатимуться за корпоративних клієнтів. Модель, здатна автономно виконувати складні завдання з кібербезпеки, може мати комерційну цінність. Модель, яка може робити те саме для зловмисника, створює значні ризики для безпеки та відповідальності. Кожен додатковий рівень безпеки зменшує ризик катастрофічного зловживання, але також може знижувати гнучкість, яка важлива для клієнтів.
Astra свідчить, що наступний етап розвитку індустрії ШІ оцінюватиметься не лише за рівнем інтелекту. Ключова перевага може належати компаніям, які здатні створювати потужних агентів, корисних, але не неконтрольованих. OpenAI створює моделі, які знаходять вразливості швидше за людських експертів, і водночас гарантує, що ці моделі не створюють нових ризиків для безпеки.
Переглянути допис у X Завантаження...
Інцидент із Hugging Face показує, що навіть контрольовані оцінки можуть призвести до неочікуваної поведінки, якщо моделі мають амбітні цілі та значні ресурси для міркувань. Для OpenAI майбутнє ШІ залежатиме не від того, наскільки розумними стануть їхні моделі, а від того, чи зможуть люди й надалі контролювати, що цим моделям дозволено робити.