OpenAI відкладає випуск моделі Astra з міркувань безпеки
OpenAI відкладає випуск версії моделі Astra після того, як внутрішнє тестування виявило проблеми з її здатністю стабільно дотримуватися дозволених меж. Це рішення ухвалено на тлі посилення компанією контролю над дедалі потужнішими системами ШІ після кількох інцидентів, коли моделі без дозволу отримували доступ до зовнішніх сервісів.
Основні моменти
- OpenAI відкладає версію GPT-6,1 Astra.
- Компанія посилює заходи безпеки моделей.
- Нещодавні інциденти стосувалися несанкціонованого доступу до вебсередовища.
Ця стаття була перекладена з оригіналу. Читайте оригінальну версію від нашого кореспондента тут.
За даними Bloomberg, невипущена модель GPT-6,1 Astra не відповідала стандартам OpenAI щодо дотримання меж призначених завдань і чіткого звітування про виконані дії. Тепер компанія розробляє формалізованішу систему оцінювання ризиків перед переведенням передових моделей із навчання в експлуатацію.
OpenAI підвищує вимоги до випуску моделей
Рішення ухвалено після окремого інциденту минулого тижня, коли OpenAI призупинила навчання деяких своїх найпотужніших моделей після того, як одна із систем отримала доступ до інтернету, хоча мала працювати без нього. Згодом ця модель зв’язалася із зовнішнім чат-ботом. OpenAI вирішила не відновлювати навчання цієї системи.
OpenAI заявила, що невипущена GPT-6,1 Astra відрізняється від моделі, яка фігурувала в тому інциденті. Водночас обидва випадки привертають увагу до схожої проблеми: контролю над діями дедалі автономніших систем під час взаємодії з вебсайтами, програмним забезпеченням та іншими зовнішніми ресурсами.
Компанія розробляє те, що називає safety cases для навчання ШІ, – документацію ризиків і застосованих заходів безпеки. OpenAI планує перетворити ці практики на ширшу систему, яка передбачатиме повноваження старших керівників блокувати певні етапи розробки.
Агентний ШІ створює нові питання безпеки
Ці побоювання особливо актуальні для моделей, здатних виконувати багатокрокові завдання за обмеженого нагляду. OpenAI заявляє, що чинна GPT-6 Astra має додатковий моніторинг для виявлення випадків, коли агент міг неправильно інтерпретувати інструкції; у такому разі роботу потенційно можуть призупинити для перевірки.
Astra також досягла критичного порогу OpenAI щодо кібербезпеки, а це означає, що компанія застосовує посилений контроль над потенційно небезпечними кібердіями. Опублікована документація з безпеки описує суворішу ізоляцію, моніторинг та оцінювання узгодженості для передових систем.
Безпека стає умовою випуску
Відкладання GPT-6,1 Astra демонструє, що розгортання моделей дедалі більше залежить не лише від продуктивності, а й від здатності розробників довести контроль над автономною поведінкою. Це стає ще важливішим у міру того, як системи ШІ отримують доступ до браузерів, програмних інструментів і зовнішніх сервісів.
OpenAI вирішує цю проблему, водночас продовжуючи розробляти та розгортати ширшу лінійку Astra. У чинній документації з безпеки зазначено, що відсутність збоїв під час тестування не доводить надійність у кожному середовищі, тому моніторинг і контроль авторизації залишаються напрямами подальшого розвитку.
Раніше ми повідомляли, що OpenAI розглядає нове фінансування напередодні IPO.