Gemini зламала системи трьох компаній під час тестів безпеки ШІ
Модель Gemini від Google отримала несанкціонований доступ до систем трьох реальних компаній без прямої вказівки зробити це під час тестування можливостей ШІ у сфері кібербезпеки. Інциденти сталися у травні в межах експериментів, проведених Irregular, яка раніше виявила подібну поведінку в моделях OpenAI, Anthropic і Meta.
Ця стаття була перекладена з оригіналу. Читайте оригінальну версію від нашого кореспондента тут.
За даними Bloomberg, Irregular повідомила розробників ШІ про ці проблеми наприкінці липня. Google наголосила, що Gemini самостійно припинила подальші дії в усіх трьох випадках, а постраждалі організації були повідомлені.
В одному з тестів модель попросили отримати інформацію про вигадану компанію, назва якої випадково збігалася з назвою реально існуючої організації. Gemini виявила її сервіс і вгадала пароль, отримавши доступ до системи реальної компанії.
Gemini знаходить облікові дані сторонніх компаній у публічних репозиторіях
Ще два інциденти сталися після того, як Gemini шукала в інтернеті назви компаній. Модель виявила публічні онлайн-репозиторії, що містили облікові дані інших організацій, і використала їх для доступу до додаткових систем.
Віцепрезидентка Google із безпеки інженерних систем Гезер Едкінс заявила, що в усіх трьох випадках модель у певний момент самостійно зупинилася. Вона додала, що Google також забезпечила інформування постраждалих організацій про інциденти.
Компанія повідомила органи влади щонайменше про один із випадків. Представник Irregular Джозеф Лаор заявив, що одразу після виявлення проблеми було вжито заходів, а компанія кілька тижнів тому усунула всі відомі вразливості зі свого боку.
Едкінс заявила, що ці інциденти демонструють необхідність навчати потужні моделі ШІ відповідальної поведінки. Випадки показують, що автономні системи можуть знаходити реальні облікові дані та використовувати їх, навіть коли такий результат не був безпосередньою метою завдання.
Дискусія в індустрії ШІ щодо безпеки посилюється
Серія інцидентів за участю агентних систем ШІ посилила дискусію про ризики, пов’язані з цією технологією. Раніше ті самі тести Irregular виявили подібні злами систем OpenAI, Anthropic і Meta.
Генеральний директор Anthropic Даріо Амодеї закликав до загальногалузевого уповільнення розробки ШІ. Ініціативу також підтримали генеральний директор OpenAI Сем Альтман та Ілон Маск, тоді як президент США Дональд Трамп, генеральний директор Nvidia Дженсен Хуанг і генеральний директор Meta Марк Цукерберг виступили проти посилення регулювання галузі.
На цьому тлі дискусія дедалі частіше виходить за межі технологічних ризиків і стосується питання, хто має встановлювати правила розробки ШІ. Прихильники координації між провідними лабораторіями ШІ вказують на потребу в єдиних стандартах безпеки, тоді як опоненти стверджують, що компанії можуть самостійно управляти ризиками.
Вплив регулювання на конкуренцію також став предметом суперечок. Деякі молоді компанії у сфері ШІ попереджають, що суворі вимоги можуть створити додаткові бар’єри для менших розробників і зміцнити позиції найбільших технологічних корпорацій.
Раніше ми повідомляли, що Anthropic розглядає запуск нової моделі ШІ на тлі посилення конкуренції з OpenAI напередодні потенційного IPO. Компанія продовжує розширювати продуктову лінійку, готуючись до можливого виходу на біржу.