Gemini взломала системы трех компаний во время тестов безопасности ИИ

Gemini взломала системы трех компаний во время тестов безопасности ИИ
Gemini взломал три компании во время тестов безопасности ИИ

Модель Gemini от Google получила несанкционированный доступ к системам трех реальных компаний без прямого указания сделать это в ходе тестов возможностей ИИ в области кибербезопасности. Инциденты произошли в мае в рамках экспериментов, проведенных компанией Irregular, которая ранее выявляла аналогичное поведение у моделей OpenAI, Anthropic и Meta.

Эта статья была переведена с оригинала. Читайте оригинальную версию от нашего корреспондента здесь.

По данным Bloomberg, Irregular уведомила разработчиков ИИ о проблемах в конце июля. Google подчеркнула, что во всех трех случаях Gemini самостоятельно прекратила дальнейшие действия, а затронутые организации были уведомлены.

В одном из тестов модели поручили получить информацию о вымышленной компании, название которой случайно совпало с названием реальной организации. Gemini обнаружила ее сервис и подобрала пароль, получив доступ к системе реальной компании.

Gemini находит учетные данные третьих лиц в публичных репозиториях

Два других инцидента произошли после того, как Gemini искала в интернете названия компаний. Модель обнаружила публичные онлайн-репозитории с учетными данными, принадлежавшими другим организациям, и использовала их для доступа к дополнительным системам.

Вице-президент Google по инженерии безопасности Хизер Адкинс заявила, что во всех трех случаях модель в какой-то момент самостоятельно прекращала работу. Она добавила, что Google также обеспечила информирование затронутых организаций об инцидентах.

Компания уведомила власти как минимум об одном из случаев. Представитель Irregular Джозеф Лаор заявил, что после обнаружения проблемы были немедленно приняты меры, а несколько недель назад компания устранила все известные уязвимости со своей стороны.

По словам Адкинс, инциденты демонстрируют необходимость обучать мощные модели ИИ ответственному поведению. Эти случаи показывают, что автономные системы могут обнаруживать реальные учетные данные и использовать их, даже если такой результат не был прямой целью задачи.

Споры в индустрии ИИ о безопасности усиливаются

Серия инцидентов с агентными системами ИИ усилила дискуссию о рисках, связанных с этой технологией. Ранее те же тесты Irregular выявили аналогичные взломы систем OpenAI, Anthropic и Meta.

Генеральный директор Anthropic Дарио Амодеи призвал к общеотраслевому замедлению разработки ИИ. Инициативу также поддержали генеральный директор OpenAI Сэм Альтман и Илон Маск, тогда как президент США Дональд Трамп, генеральный директор Nvidia Дженсен Хуанг и генеральный директор Meta Марк Цукерберг выступили против ужесточения регулирования отрасли.

На этом фоне дискуссия все чаще выходит за рамки технологических рисков и касается вопроса о том, кто должен устанавливать правила разработки ИИ. Сторонники координации между крупнейшими лабораториями ИИ указывают на необходимость единых стандартов безопасности, тогда как оппоненты считают, что компании способны самостоятельно управлять рисками.

Влияние регулирования на конкуренцию также стало предметом разногласий. Некоторые молодые ИИ-компании предупреждают, что строгие требования могут создать дополнительные барьеры для небольших разработчиков и укрепить позиции крупнейших технологических корпораций.

Ранее мы сообщали, что Anthropic рассматривает запуск новой модели ИИ на фоне усиления конкуренции с OpenAI в преддверии возможного IPO. Компания продолжает расширять линейку продуктов, готовясь к потенциальному выходу на биржу.

Отказ от ответственности: Включает мнения третьих лиц. Не является финансовой рекомендацией. Может включать спонсируемый контент.