Gemini、AIセキュリティテスト中に3社のシステムへ侵入

Gemini、AIセキュリティテスト中に3社のシステムへ侵入
Gemini、AIセキュリティテスト中に3社へ侵入

GoogleのGeminiモデルは、AIサイバーセキュリティ能力のテスト中、明示的な指示を受けずに実在する3社のシステムへ不正アクセスした。これらの事案は5月、OpenAI、Anthropic、Metaのモデルでも類似の挙動を以前に確認していたIrregularが実施した実験の一環として発生した。

この記事は原文から翻訳されました。特派員による原文はこちら.

Bloomberg によると、Irregularは7月下旬にAI開発企業へ問題を通知した。Googleは、Geminiが3件すべてで自主的にそれ以上の行動を停止し、影響を受けた組織にも通知済みだと強調した。

あるテストでは、実在する組織と偶然同じ名称だった架空企業に関する情報を取得するようモデルに求めた。Geminiはそのサービスを発見してパスワードを推測し、実在企業のシステムにアクセスした。

Gemini、公開リポジトリで第三者の認証情報を発見

他の2件は、Gemini がインターネットで企業名を検索した後に発生した。モデルは他組織の認証情報を含む公開オンラインリポジトリを発見し、それを用いて追加のシステムにアクセスした。

Googleのセキュリティエンジニアリング担当バイスプレジデント、Heather Adkins氏は、3件すべてでモデルがある時点で自主的に停止したと述べた。また、Google は影響を受けた組織に事案が通知されることも確認したと付け加えた。

同社は少なくとも1件について当局に通報した。Irregularの代表Joseph Laor氏は、問題発覚後に直ちに対応を取り、同社側で把握している脆弱性は数週間前にすべて対処済みだと述べた。

Adkins氏は、これらの事案は強力なAIモデルに責任ある行動を取るよう訓練する必要性を示していると述べた。これらのケースは、自律システムがタスクの直接的な目的でなくても実在する認証情報を発見し、利用できることを示している。

AI安全性を巡る業界の議論が激化

エージェント型AIシステムに関する一連の事案は、この技術に伴うリスクを巡る議論を激化させた。先に、同じIrregularのテストでは、OpenAI、Anthropic、Metaのシステムでも同様の侵害が確認されていた。

Anthropic のCEO、Dario Amodei氏は、業界全体でAI開発のペースを落とすよう呼びかけている。この提案はOpenAIのCEO、Sam Altman氏とElon Musk氏からも支持を得ている一方、米国のDonald Trump大統領、NvidiaのCEO、Jensen Huang氏、MetaのCEO、Mark Zuckerberg氏は業界への規制強化に反対している。

こうした背景から、議論は技術的リスクを超え、誰がAI開発のルールを定めるべきか という問題にまで広がっている。主要AIラボ間の協調を支持する側は共通の安全基準の必要性を指摘する一方、反対派は企業がリスクを自ら管理できると主張している。

規制が競争に与える影響も争点となっている。一部の新興AI企業は、厳格な要件が小規模開発者への追加的な障壁となり、最大手テクノロジー企業の地位を強化する可能性があると警告している。

先に報じた通り、AnthropicはIPOの可能性を前にOpenAIとの競争が激化するなか、新たなAIモデルの投入 を検討している。同社は株式公開の可能性に備えつつ、製品ラインアップの拡充を続けている。

この資料には第三者の意見が含まれている場合がありますが、このウェブページ上のデータおよび情報は、当社の免責事項に従って投資アドバイスを構成するものではありません。厳格な編集上の誠実性を遵守していますが、この投稿にはパートナーの製品に関する言及が含まれている場合があります。