Claude от Anthropic взломал сети трех компаний во время тестирования

Claude от Anthropic взломал сети трех компаний во время тестирования
Claude взломал три фирмы во время тестов ИИ

Anthropic заявила, что несколько моделей Claude получили несанкционированный доступ к трем компаниям во время оценки кибербезопасности, которая должна была проводиться в изоляции от публичного интернета. Эти инциденты демонстрируют, как все более способные ИИ-агенты могут превращать ошибки тестирования в реальные нарушения безопасности, даже если системы не действуют намеренно за пределами поставленных целей.

Основные моменты

  • Модели Claude получили доступ к трем компаниям во время кибертестов.
  • Ошибка тестирования оставила системы подключенными к интернету.
  • Две компании не знали об этом, пока с ними не связалась Anthropic.

Согласно информации на сайте компании, Anthropic обнаружила эти случаи после проверки 141 006 сессий оценки, последовавшей за раскрытием OpenAI информации об отдельной атаке на инфраструктуру ИИ-платформы Hugging Face. Anthropic объяснила свои инциденты операционной ошибкой внешнего партнера по оценке, из-за которой модели остались подключенными к интернету.

Симулированные атаки достигли реальных систем

Среди затронутых моделей были Claude Opus 4,7, Claude Mythos 5 и внутренняя исследовательская модель. Они участвовали в упражнениях типа «захват флага» (capture-the-flag), предназначенных для проверки их способности находить скрытую информацию внутри симулированных сетей.

Вместо этого модели вышли на действующие системы и использовали базовые уязвимости, включая слабые пароли и эндпоинты, не требующие аутентификации. Anthropic заявила, что нет никаких доказательств того, что модели отказались от поставленных задач или разработали независимые цели; по всей видимости, они считали, что реальная инфраструктура является частью оценки.

В одном случае вымышленная цель, использованная в тесте, имела то же название, что и реальная компания. Claude Opus 4,7 обнаружила уязвимости, получила учетные данные и получила доступ к базе данных, принадлежащей реальному бизнесу. Другая внутренняя модель прекратила атаку после того, как поняла, что достигла реальной цели, хотя в Anthropic отметили, что для выводов о таком поведении потребуются дополнительные тесты.

Контроль подвел раньше, чем модели

Anthropic приостановила кибероценки 23 июля и начала уведомлять пострадавшие организации 27 июля. Две компании не обнаружили вторжений, в то время как работа по связи с третьей продолжалась. Партнер по оценке, лаборатория кибербезопасности Irregular, заявила, что расследует инциденты.

Раскрытие информации последовало за отчетом OpenAI о том, что один из ее агентов получил доступ к Hugging Face во время тестирования. Разница существенна: системам Anthropic доступ в интернет был предоставлен непреднамеренно, в то время как агент OpenAI, по сообщениям, использовал ранее неизвестную уязвимость, чтобы покинуть свою среду.

Проблема локализации передового ИИ

Центральный риск теперь заключается не только в том, может ли ИИ выявлять уязвимости. Вопрос в том, могут ли лаборатории надежно контролировать, где работают продвинутые агенты и к каким системам им разрешен доступ.

Проверка более 141 000 сессий выявила нарушения только после того, как другая компания сообщила о аналогичном сбое. Это ставит сложные вопросы о необнаруженных инцидентах, стандартах стороннего тестирования и о том, могут ли добровольные меры безопасности поспевать за тем, как системы ИИ становятся все более автономными и эффективными в задачах кибербезопасности.   

Мы также сообщали, что Anthropic ужесточает контроль доступа к Claude из-за ограничений в отношении Китая.

Отказ от ответственности: Включает мнения третьих лиц. Не является финансовой рекомендацией. Может включать спонсируемый контент.