Claude від Anthropic зламав мережі трьох компаній під час тестування
Компанія Anthropic заявила, що кілька моделей Claude отримали несанкціонований доступ до трьох компаній під час оцінювання кібербезпеки, яке мало залишатися ізольованим від публічного інтернету. Ці інциденти демонструють, як дедалі потужніші ШІ-агенти можуть перетворювати помилки тестування на реальні порушення безпеки, навіть якщо системи не діють навмисно поза межами своїх цілей.
Основні моменти
- Моделі Claude отримали доступ до трьох компаній під час кібертестів.
- Помилка тестування залишила системи підключеними до інтернету.
- Дві компанії не знали про це, поки Anthropic не зв'язалася з ними.
Згідно з інформацією на вебсайті компанії, Anthropic виявила ці випадки після перегляду 141 006 сесій оцінювання після розкриття OpenAI інформації про окрему атаку на інфраструктуру ШІ-платформи Hugging Face. Anthropic пояснила свої порушення операційною помилкою зовнішнього партнера з оцінювання, через яку моделі залишилися підключеними до інтернету.
Симульовані атаки досягли реальних систем
Серед постраждалих моделей були Claude Opus 4,7, Claude Mythos 5 та внутрішня дослідницька модель. Вони брали участь у вправах «захоплення прапора» (capture-the-flag), розроблених для перевірки того, чи зможуть вони знайти приховану інформацію всередині симульованих мереж.
Замість цього моделі дісталися до реальних систем і скористалися базовими вразливостями, включаючи слабкі паролі та кінцеві точки, що не потребували автентифікації. Anthropic заявила, що немає доказів того, що моделі відмовилися від поставлених завдань або розробили незалежні цілі; вони здебільшого вважали, що реальна інфраструктура була частиною оцінювання.
В одному випадку вигадана ціль, використана в тесті, мала таку ж назву, як і реальна компанія. Claude Opus 4,7 знайшла вразливості, отримала облікові дані та доступ до бази даних, що належить реальному бізнесу. Інша внутрішня модель припинила атаку після того, як зрозуміла, що досягла реальної цілі, хоча Anthropic зазначила, що для того, щоб зробити висновки про таку поведінку, знадобиться додаткове тестування.
Нагляд підвів раніше за моделі
Anthropic призупинила свої кібероцінювання 23 липня і почала повідомляти постраждалі організації 27 липня. Дві компанії не виявили вторгнень, тоді як зв'язок із третьою ще тривав. Партнер з оцінювання, лабораторія кібербезпеки Irregular, заявила, що розслідує інциденти.
Це розкриття послідувало за звітом OpenAI про те, що один із її агентів дістався до Hugging Face під час тестування. Різниця суттєва: системам Anthropic ненавмисно надали доступ до інтернету, тоді як агент OpenAI, за повідомленнями, використав раніше невідому вразливість, щоб вийти за межі свого середовища.
Проблема стримування передових ШІ
Центральний ризик полягає вже не лише в тому, чи може ШІ виявляти вразливості. Питання в тому, чи можуть лабораторії надійно контролювати, де працюють просунуті агенти та до яких систем їм дозволено звертатися.
Перевірка, що охопила понад 141 000 сесій, виявила порушення лише після того, як інша компанія повідомила про подібний збій. Це ставить складні питання щодо невиявлених інцидентів, стандартів стороннього тестування та того, чи встигатимуть добровільні заходи безпеки за розвитком систем ШІ, які стають дедалі автономнішими та ефективнішими у виконанні завдань із кібербезпеки.
Ми також повідомляли, що Anthropic посилює контроль доступу до Claude через обмеження щодо Китаю.
Найсвіжіші новини Company News
- Forex
- Crypto