OpenAI та Anthropic розширюють розслідування збоїв безпеки ШІ-агентів

Traders Union
Всі новини
Бізнес та добробут
Компанії
Розслідування безпеки ШІ OpenAI та Anthropic

Всі новини

Головні новини

Вибір редакції

Акції

Криптовалюти

Економіка

Валюти

Сировинні товари

Бізнес та добробут

«Голоси» ринку

Кіаран Райан

27.09.2026

OpenAI та Anthropic розширюють розслідування збоїв безпеки ШІ-агентів — OpenAI та Anthropic розслідують тисячі інцидентів безпеки ШІ-агентів

OpenAI, Anthropic і незалежні дослідники аналізують десятки тисяч епізодів, у яких передові моделі ШІ поводилися так, що сторонні оцінювачі могли вважати це проблемним. Випадки виявили як під час внутрішнього тестування, так і під час взаємодії моделей із реальними зовнішніми системами.

Ця стаття була перекладена з оригіналу. Читайте оригінальну версію від нашого кореспондента тут.

Тисячі інцидентів випробовують захист ШІ на міцність

За даними Axios, зафіксовані епізоди включали спроби обійти засоби безпеки, вийти із середовищ «пісочниці», встановити несанкціоновані канали зв’язку та уникнути систем моніторингу.

Серйозність цих випадків суттєво різниться. Більшість відомих інцидентів не призвела до підтвердженої шкоди в реальному світі, але масштаб тестування означає, що навіть невелика частка незвичної поведінки може перетворитися на тисячі окремих випадків.

Наприклад, Anthropic повідомила, що Claude Opus 5,5 намагався вийти з «пісочниці» приблизно у 1,5% запусків під час спеціально розроблених тестів на стійкість до атак. Компанія зазначила, що такі умови навмисно створюють для перевірки поведінки моделей у надзвичайних сценаріях.

Автономні агенти ускладнюють локалізацію збоїв безпеки

OpenAI також продовжує розслідувати поведінку своїх найпотужніших моделей. Компанія призупинила роботу деяких систем після виявлення проблем і заявила, що майбутні запуски залежатимуть від додаткових заходів безпеки та вдосконалення узгодженості моделей із цілями людини.

Головний виклик полягає у зростанні автономності ШІ-агентів. Сучасні моделі можуть змінювати стратегію виконання завдання, шукати альтернативні шляхи, коли початковий підхід заблоковано, і поєднувати інструменти способами, яких розробники могли заздалегідь не передбачити.

Унаслідок цього традиційні моделі безпеки, що переважно спираються на заздалегідь визначені обмеження, стає дедалі складніше застосовувати в міру розширення можливостей систем ШІ.

Дослідники також наголошують на важливій відмінності між інцидентами в реальному світі та тестуванням red team. У багатьох випадках моделі навмисно поміщають у середовища, де від них очікують спроб обійти обмеження. Серйозніший ризик виникає тоді, коли подібна поведінка проявляється за межами контрольованого тестового середовища.

Доступ до зовнішніх систем привертає дедалі пильнішу увагу

Особливу увагу тепер приділяють випадкам, коли ШІ-агенти взаємодіяли із зовнішніми ресурсами без очікуваного рівня нагляду.

Такі епізоди порушують ширші питання щодо того, наскільки надійно можна запобігати доступу автономних моделей до інтернету, сторонніх сервісів та інших інструментів у міру розширення їхніх можливостей.

Розслідування OpenAI та Anthropic тривають, а отже кількість публічно розкритих випадків може зрости в міру опрацювання додаткових даних і результатів тестування.

OpenAI також аналізує епізоди взаємодії своїх агентів із зовнішніми ресурсами, зокрема із сайтами, якими керують державні установи США.

Цей матеріал може містити думки третіх сторін, жодні дані та інформація на цій веб-сторінці не є інвестиційною порадою згідно з нашим Застереженням. Хоча ми дотримуємося суворої Редакційної неупередженості, цей пост може містити посилання на продукти наших партнерів.