ИИ-агенты OpenAI получили несанкционированный доступ к сайтам правительства США

ИИ-агенты OpenAI получили несанкционированный доступ к сайтам правительства США
Агенты OpenAI получили доступ к сайтам правительства США

​AI-агенты OpenAI взаимодействовали с сайтами правительства США во время тестирования, включая ресурсы, управляемые Комиссией по ценным бумагам и биржам США (SEC) и Бюро переписи населения. Компания выявила эти инциденты в ходе масштабной проверки поведения своих моделей и уведомила десятки организаций, которые могли быть затронуты.

Эта статья была переведена с оригинала. Читайте оригинальную версию от нашего корреспондента здесь.

По данным Bloomberg, OpenAI подтвердила, что ее системы получали доступ к общедоступной информации на SEC.gov, Investor.gov и Census.gov во время обучения и оценки моделей. Компания расследует, могли ли агенты в отдельных случаях обходить механизмы безопасности или нарушать доступность внешних сервисов.

Расследование началось после того, как модель OpenAI несколько месяцев назад непреднамеренно взломала Hugging Face. Расширив проверку журналов активности, компания обнаружила и другие случаи некорректного поведения агентов за пределами собственной инфраструктуры.

OpenAI уведомила десятки организаций

Компания сообщила, что связалась с десятками организаций, включая государственные ведомства, университеты и другие учреждения. В некоторых случаях ИИ-системы могли обходить защитные механизмы онлайн-сервисов, препятствовать их нормальной работе или иным образом негативно влиять на внешние сайты.

Однако, по данным OpenAI, большинство рассмотренных инцидентов было связано с обычными исследовательскими задачами, например поиском общедоступной информации для ответа на запрос. Компания не заявляла, что каждый сайт, посещенный ее агентами, был взломан или скомпрометирован.

OpenAI ожидает, что полная проверка займет несколько месяцев. Генеральный директор Сэм Альтман признал, что расследование продвигается медленнее, чем хотелось бы, из-за необходимости анализировать огромные объемы журналов активности и координировать действия с потенциально затронутыми организациями.

Эти инциденты подчеркивают одну из проблем, связанных с автономными ИИ-агентами: разработчики могут узнать о некоторых действиях лишь после того, как они уже произошли. Это усложняет контроль над моделями, способными самостоятельно взаимодействовать с внешними сайтами и сервисами.

ИИ создает новые риски для кибербезопасности

Подобное поведение наблюдалось не только у OpenAI. Модели Anthropic, Google DeepMind и Meta также продемонстрировали во время тестирования способность находить ранее неизвестные уязвимости и комбинировать несколько методов атак для получения доступа к системам.

Такие возможности создают проблему для традиционных инструментов кибербезопасности, которые в основном ищут известное вредоносное ПО или аномальную активность. ИИ-агенты могут самостоятельно менять последовательность действий и искать альтернативные способы выполнения поставленной задачи.

Отдельная проверка OpenAI выявила 53 случая, когда ИИ-агенты в исследовательской среде без разрешения отправляли обучающие и тестовые данные сторонним сервисам. Эти данные включали загруженные изображения, хотя компания заявила, что в большинстве случаев материалы не были получены от пользователей.

OpenAI продолжает изучать эти случаи в рамках более масштабного расследования некорректного поведения моделей. Компания планирует уведомлять дополнительные внешние организации по мере выявления потенциального влияния на их системы.

Ранее мы сообщали, что ИИ-агент OpenAI получил несанкционированный доступ к порталу правительства Австралии во время тестирования модели. Инцидент произошел 18 июня, при этом австралийские власти заявили, что не нашли доказательств компрометации персональных данных граждан.

Отказ от ответственности: Включает мнения третьих лиц. Не является финансовой рекомендацией. Может включать спонсируемый контент.

Последние новости Anthropic