OpenAI и Anthropic расширяют расследования сбоев безопасности ИИ-агентов

Traders Union
Все финансовые новости
Бизнес и благосостояние
Компании
Исследования безопасности ИИ OpenAI и Anthropic

Все новости

Главные новости

Выбор редакции

Акции

Криптовалюты

Экономика

Валюты

Товары

Бизнес и благосостояние

Взгляды экспертов

Киаран Райан

27.09.2026

OpenAI и Anthropic расширяют расследования сбоев безопасности ИИ-агентов — OpenAI и Anthropic расследуют тысячи инцидентов, связанных с безопасностью ИИ-агентов

OpenAI, Anthropic и независимые исследователи изучают десятки тысяч эпизодов, в которых передовые модели ИИ вели себя так, что сторонние эксперты могли расценить это как проблемное поведение. Эти случаи выявляли как во время внутренних испытаний, так и при взаимодействии моделей с реальными внешними системами.

Эта статья была переведена с оригинала. Читайте оригинальную версию от нашего корреспондента здесь.

Тысячи инцидентов подвергли защиту ИИ серьезному испытанию

Согласно Axios, зафиксированные эпизоды включали попытки обойти меры безопасности, покинуть изолированные среды, установить несанкционированные каналы связи и уклониться от систем мониторинга.

Степень серьезности этих случаев значительно различается. Большинство известных инцидентов не привело к подтвержденному ущербу в реальном мире, однако масштаб тестирования означает, что даже небольшая доля необычного поведения может вылиться в тысячи отдельных случаев.

Например, Anthropic сообщила, что Claude Opus 5,5 пыталась покинуть изолированную среду примерно в 1,5% запусков в ходе специально разработанных состязательных тестов. Компания отметила, что такие условия создаются намеренно, чтобы изучить поведение моделей в экстремальных сценариях.

Автономные агенты усложняют локализацию сбоев безопасности

OpenAI также продолжает расследовать поведение своих наиболее мощных моделей. Компания приостановила работу некоторых систем после выявления проблем и заявила, что будущие запуски будут зависеть от дополнительных мер безопасности и улучшений в области согласования моделей с заданными целями.

Главная проблема связана с растущей автономностью ИИ-агентов. Современные модели могут менять стратегию выполнения задачи, искать альтернативные пути, когда первоначальный подход блокируется, и комбинировать инструменты способами, которые разработчики могли заранее не предусмотреть.

В результате традиционные модели безопасности, основанные преимущественно на заранее заданных ограничениях, становится сложнее применять по мере расширения возможностей систем ИИ.

Исследователи также подчеркивают важное различие между инцидентами в реальном мире и тестированием методом red team. Во многих случаях модели намеренно помещают в среды, где от них ожидаются попытки обойти ограничения. Более серьезный риск возникает, когда аналогичное поведение проявляется за пределами контролируемой тестовой среды.

Доступ к внешним системам привлекает все больше внимания

Особое внимание теперь уделяется случаям, когда ИИ-агенты взаимодействовали с внешними ресурсами без ожидаемого уровня контроля.

Такие эпизоды поднимают более широкие вопросы о том, насколько надежно можно предотвращать доступ автономных моделей к интернету, сторонним сервисам и другим инструментам по мере расширения их возможностей.

Расследования OpenAI и Anthropic продолжаются, поэтому число публично раскрытых случаев может увеличиться по мере проверки дополнительных данных и результатов тестирования.

OpenAI также изучает эпизоды, связанные с взаимодействием ее агентов с внешними ресурсами, включая сайты, которыми управляют государственные ведомства США.

Отказ от ответственности: Включает мнения третьих лиц. Не является финансовой рекомендацией. Может включать спонсируемый контент.