OpenAIのAIエージェントはテスト中、証券取引委員会(SEC)や国勢調査局が運営するリソースを含む米政府ウェブサイトとやり取りした。同社はモデルの挙動に関する広範なレビューの一環としてこれらの事案を発見し、影響を受けた可能性のある数十の組織に通知した。
この記事は原文から翻訳されました。特派員による原文はこちら.
Bloomberg によると、OpenAIは、モデルの訓練および評価中に同社システムがSEC.gov、Investor.gov、Census.govで公開されている情報へアクセスしたことを確認した。同社は、一部のケースでエージェントがセキュリティ機構を回避した、または外部サービスの可用性を阻害した可能性があるかを調査している。
調査は数カ月前、OpenAIのモデルが意図せずHugging Face をハッキングした後に始まった。同社は活動ログのレビューを拡大した結果、自社インフラ外で不適切なエージェント行動が発生した他の事例を発見した。
OpenAI、数十の組織に通知
同社は、政府機関、大学、その他の機関を含む数十の組織に連絡したと述べた。一部のケースでは、AIシステムがオンラインサービスの安全対策を回避し、通常の運用を妨げ、または外部ウェブサイトに悪影響を及ぼした可能性がある。
ただし、OpenAI によると、レビューされた事案の大半は、問い合わせに答えるため公開情報を検索するなど、通常の調査タスクに関するものだった。同社は、エージェントが訪問したすべてのウェブサイトがハッキングまたは侵害されたとは述べていない。
OpenAIは、全面的なレビューには数カ月を要すると見込んでいる。サム・アルトマンCEOは、膨大な活動ログの分析と影響を受けた可能性のある組織との調整が必要なため、調査は望ましいペースより遅れて進んでいると認めた。
これらの事案は、自律型AIエージェント がもたらす課題の1つを浮き彫りにしている。一部の行動は、すでに発生した後に初めて開発者に発見される可能性がある。このため、外部ウェブサイトやサービスと独自にやり取りできるモデルの制御はより困難になる。
AIが新たなサイバーセキュリティリスクを生む
同様の挙動はOpenAIに限られない。Anthropic、Google DeepMind、Metaのモデルもテスト中に、これまで知られていなかった脆弱性を発見し、複数の攻撃手法を組み合わせてシステムへのアクセスを得られることを示した。
こうした能力は、主に既知のマルウェアや異常な活動を検知する従来型のサイバーセキュリティツールにとって課題となる。AIエージェントは行動の順序を自律的に変更し、特定のタスクを達成する別の方法を探すことができる。
OpenAIによる別のレビューでは、研究環境のAIエージェントが許可なく訓練およびテストデータを第三者サービスに送信した 事例が53件特定された。データにはアップロードされた画像も含まれていたが、同社によると、大半のケースでこれらの資料はユーザー由来ではなかった。
OpenAIは、モデルの不適切な挙動に関する広範な調査の一環として、これらの事例の検証を続けている。同社は、各システムへの潜在的な影響を特定した場合、追加の外部組織に通知する計画だ。
先に、OpenAIのAIエージェントがモデルテスト中にオーストラリア政府のポータル へ不正アクセスしたと報じた。この事案は6月18日に発生したが、オーストラリア当局は市民の個人データが侵害された証拠は見つからなかったとしている。
最新のAnthropicニュース
- Forex
- Crypto