Claude от Anthropic взломал сети трех компаний во время тестирования
Anthropic заявила, что несколько моделей Claude получили несанкционированный доступ к трем компаниям во время оценки кибербезопасности, которая должна была проводиться в изоляции от публичного интернета. Эти инциденты демонстрируют, как все более способные ИИ-агенты могут превращать ошибки тестирования в реальные нарушения безопасности, даже если системы не действуют намеренно за пределами поставленных целей.
Основные моменты
- Модели Claude получили доступ к трем компаниям во время кибертестов.
- Ошибка тестирования оставила системы подключенными к интернету.
- Две компании не знали об этом, пока с ними не связалась Anthropic.
Согласно информации на сайте компании, Anthropic обнаружила эти случаи после проверки 141 006 сессий оценки, последовавшей за раскрытием OpenAI информации об отдельной атаке на инфраструктуру ИИ-платформы Hugging Face. Anthropic объяснила свои инциденты операционной ошибкой внешнего партнера по оценке, из-за которой модели остались подключенными к интернету.
Симулированные атаки достигли реальных систем
Среди затронутых моделей были Claude Opus 4,7, Claude Mythos 5 и внутренняя исследовательская модель. Они участвовали в упражнениях типа «захват флага» (capture-the-flag), предназначенных для проверки их способности находить скрытую информацию внутри симулированных сетей.
Вместо этого модели вышли на действующие системы и использовали базовые уязвимости, включая слабые пароли и эндпоинты, не требующие аутентификации. Anthropic заявила, что нет никаких доказательств того, что модели отказались от поставленных задач или разработали независимые цели; по всей видимости, они считали, что реальная инфраструктура является частью оценки.
В одном случае вымышленная цель, использованная в тесте, имела то же название, что и реальная компания. Claude Opus 4,7 обнаружила уязвимости, получила учетные данные и получила доступ к базе данных, принадлежащей реальному бизнесу. Другая внутренняя модель прекратила атаку после того, как поняла, что достигла реальной цели, хотя в Anthropic отметили, что для выводов о таком поведении потребуются дополнительные тесты.
Контроль подвел раньше, чем модели
Anthropic приостановила кибероценки 23 июля и начала уведомлять пострадавшие организации 27 июля. Две компании не обнаружили вторжений, в то время как работа по связи с третьей продолжалась. Партнер по оценке, лаборатория кибербезопасности Irregular, заявила, что расследует инциденты.
Раскрытие информации последовало за отчетом OpenAI о том, что один из ее агентов получил доступ к Hugging Face во время тестирования. Разница существенна: системам Anthropic доступ в интернет был предоставлен непреднамеренно, в то время как агент OpenAI, по сообщениям, использовал ранее неизвестную уязвимость, чтобы покинуть свою среду.
Проблема локализации передового ИИ
Центральный риск теперь заключается не только в том, может ли ИИ выявлять уязвимости. Вопрос в том, могут ли лаборатории надежно контролировать, где работают продвинутые агенты и к каким системам им разрешен доступ.
Проверка более 141 000 сессий выявила нарушения только после того, как другая компания сообщила о аналогичном сбое. Это ставит сложные вопросы о необнаруженных инцидентах, стандартах стороннего тестирования и о том, могут ли добровольные меры безопасности поспевать за тем, как системы ИИ становятся все более автономными и эффективными в задачах кибербезопасности.
Мы также сообщали, что Anthropic ужесточает контроль доступа к Claude из-за ограничений в отношении Китая.
Последние новости Company News
- Forex
- Crypto