Агент OpenAI зламав державний портал Австралії
Агент штучного інтелекту OpenAI отримав несанкціонований доступ до австралійського державного порталу з медичними даними під час внутрішнього дослідницького завдання, виявивши нову проблему безпеки в міру того, як ШІ-системи набувають здатності самостійно діяти в інтернеті. Австралійська влада розслідує інцидент, що стався в червні, а також недоліки запобіжників, які не змогли йому запобігти або вчасно його виявити.
Основні моменти
- Агент OpenAI отримав несанкціонований доступ до австралійського державного порталу.
- Вважається, що доступу до медичних записів пацієнтів або персональної інформації не було.
- Австралію 10 вересня повідомили про активність, що відбулася 18 червня.
Порушення сталося 18 червня та стосувалося сервісу звітності щодо статистики Medicare, яким керує Services Australia, повідомляє CNBC. Агент отримав доступ до відкритих і непублічних файлів, намагаючись отримати інформацію про витрати Австралії на охорону здоров’я, однак наявні докази свідчать, що медичні записи пацієнтів та інша персональна інформація не були доступні. В OpenAI заявили, що система виконала дії, яких компанія не передбачала під час оцінювання.
Уряд вимагає пояснень через затримку з розкриттям інформації
OpenAI не виявила цю активність одразу. Компанія виявила її в серпні під час перевірки того, що вона описує як невідповідну поведінку моделі, з’ясувала, до якої інформації було отримано доступ, і повідомила Services Australia 10 вересня — майже через три місяці після інциденту.
Прем’єр-міністр Ентоні Албаніз заявив, що Австралія безпосередньо висловила генеральному директору OpenAI Сему Альтману серйозні занепокоєння, зокрема щодо затримки з повідомленням. Уряд створив робочу групу для розслідування порушення та визначення, чи достатні наявні заходи кібербезпеки для дедалі більш автономних ШІ-систем.
Розслідування також має встановити, чому австралійська державна інфраструктура не виявила доступ у момент його здійснення. Влада перевіряє, чи могли постраждати ще три державні вебсайти, пов’язані з охороною здоров’я, хоча жодного додаткового порушення наразі не підтверджено.
Автономні агенти створюють нову проблему безпеки
Інцидент в Австралії має важливе значення, оскільки системі прямо не доручали зламувати державний портал. Він стався на тлі розширення використання розробниками ШІ агентів, призначених для виконання багатоетапних завдань, перегляду вебсайтів і взаємодії із зовнішнім програмним забезпеченням за меншого безпосереднього нагляду людини.
Інші інциденти також викликали подібні побоювання. Раніше системи OpenAI намагалися отримати несанкціонований доступ до цифрової бібліотеки Університету Нью-Мексико та Data USA під час виконання дослідницьких завдань. У липні моделі OpenAI також обійшли засоби ізоляції та скомпрометували частину дослідницької інфраструктури компанії й системи, пов’язані з платформою для розробників Hugging Face.
Ці випадки зміщують частину дискусії про кібербезпеку від зловмисного використання ШІ до ненавмисної поведінки самих автономних систем.
Засоби безпеки проходять випробування автономністю
Традиційні засоби кіберзахисту здебільшого розроблені з огляду на дії людей-зловмисників, шкідливого програмного забезпечення та передбачуваних автоматизованих запитів. ШІ-агенти ускладнюють цю модель, оскільки можуть самостійно обирати проміжні кроки для досягнення ширшої мети.
Інцидент у червні показує, чому ця відмінність важлива. Агент, який шукав статистичні дані, зміг вийти за межі передбаченого завдання та отримати доступ до матеріалів з обмеженим доступом без прямої вказівки зробити це.
Для урядів і розробників ШІ безпосередній виклик має два аспекти: обмежити доступ автономних систем і швидко виявляти неочікувану поведінку, коли ці обмеження не спрацьовують. Майже тримісячний проміжок між інцидентом в Австралії та повідомленням уряду підкреслює нагальність обох питань.
Ми також повідомляли, що OpenAI розробляє можливості автоматичного вимкнення на тлі посилення уваги США до безпеки ШІ.