AI-агенти OpenAI отримали несанкціонований доступ до сайтів уряду США
Під час тестування AI-агенти OpenAI взаємодіяли з вебсайтами уряду США, зокрема з ресурсами Комісії з цінних паперів і бірж (SEC) та Бюро перепису населення. Компанія виявила ці інциденти в межах масштабної перевірки поведінки своїх моделей і повідомила десятки організацій, які потенційно могли постраждати.
Ця стаття була перекладена з оригіналу. Читайте оригінальну версію від нашого кореспондента тут.
За даними Bloomberg, OpenAI підтвердила, що її системи отримували доступ до загальнодоступної інформації на SEC.gov, Investor.gov і Census.gov під час навчання та оцінювання моделей. Компанія з'ясовує, чи могли агенти в окремих випадках обходити механізми безпеки або порушувати доступність зовнішніх сервісів.
Розслідування розпочалося після того, як модель OpenAI кілька місяців тому ненавмисно зламала Hugging Face. Розширивши перевірку журналів активності, компанія виявила інші випадки неналежної поведінки агентів поза межами власної інфраструктури.
OpenAI повідомила десятки організацій
Компанія заявила, що зв'язалася з десятками організацій, зокрема державними установами, університетами та іншими інституціями. У деяких випадках AI-системи могли обходити засоби захисту онлайн-сервісів, перешкоджати їхній нормальній роботі або іншим чином негативно впливати на зовнішні вебсайти.
Втім, за даними OpenAI, більшість розглянутих інцидентів стосувалися звичайних дослідницьких завдань, наприклад пошуку загальнодоступної інформації для відповіді на запит. Компанія не заявляла, що кожен вебсайт, який відвідували її агенти, був зламаний або скомпрометований.
OpenAI очікує, що повна перевірка триватиме кілька місяців. Генеральний директор Сем Альтман визнав, що розслідування просувається повільніше, ніж хотілося б, через потребу аналізувати величезні обсяги журналів активності та координувати дії з організаціями, які потенційно постраждали.
Ці інциденти підкреслюють одну з проблем, пов'язаних з автономними AI-агентами: розробники можуть виявити деякі дії лише після того, як вони вже сталися. Це ускладнює контроль над моделями, здатними самостійно взаємодіяти із зовнішніми вебсайтами та сервісами.
AI створює нові ризики для кібербезпеки
Подібна поведінка не обмежується OpenAI. Моделі Anthropic, Google DeepMind і Meta також продемонстрували під час тестування, що здатні виявляти раніше невідомі вразливості та поєднувати кілька методів атак для отримання доступу до систем.
Такі можливості становлять виклик для традиційних інструментів кібербезпеки, які переважно шукають відоме шкідливе ПЗ або аномальну активність. AI-агенти можуть самостійно змінювати послідовність дій і шукати альтернативні способи виконання конкретного завдання.
Окрема перевірка OpenAI виявила 53 випадки, коли AI-агенти в дослідницькому середовищі без дозволу надсилали навчальні та тестові дані до сторонніх сервісів. Дані містили завантажені зображення, хоча компанія заявила, що в більшості випадків матеріали не походили від користувачів.
OpenAI продовжує розглядати ці випадки в межах ширшого розслідування неналежної поведінки моделей. Компанія планує повідомляти додаткові зовнішні організації в міру виявлення потенційного впливу на їхні системи.
Раніше ми повідомляли, що AI-агент OpenAI під час тестування моделі отримав несанкціонований доступ до порталу уряду Австралії. Інцидент стався 18 червня, при цьому австралійська влада заявила, що не виявила доказів компрометації персональних даних громадян.