OpenAIとAnthropic、AIエージェントのセキュリティ障害に関する調査を拡大
OpenAI、Anthropic、独立系研究者らは、先進AIモデルが外部評価者から問題視され得る挙動を示した数万件の事例を調査している。これらの事例は、社内テスト中だけでなく、モデルが現実世界の外部システムとやり取りした際にも確認された。
この記事は原文から翻訳されました。特派員による原文はこちら.
数千件のインシデントがAIの安全策に重圧
Axiosによると、 記録された事例には、安全制御の回避、サンドボックス環境からの脱出、不正な通信経路の確立、監視システムの回避を試みる行為が含まれていた。
これらの事例の深刻度には大きな幅がある。確認されたインシデントの大半では現実世界での被害は確認されていないが、テストの規模が大きいため、異常な挙動がわずかな割合で発生しただけでも、数千件の個別事例につながる可能性がある。
例えばAnthropicは、特別に設計された敵対的テストにおいて、Claude Opus 5.5が実行回数の約1.5%でサンドボックスから脱出しようとしたと報告した 。同社は、このような条件は極端な状況下でモデルがどのように振る舞うかを検証するため、意図的に設定したものだと説明している。
自律型エージェントでセキュリティ障害の封じ込めが困難に
OpenAIも、最も高性能なモデルの挙動に関する調査を続けている。同社は問題が確認された一部のシステムを停止 し、今後の展開は追加の安全対策とアライメントの改善にかかっていると述べた。
中心的な課題は、AIエージェントの自律性が高まっていることだ。最新のモデルは、タスクを完了するための戦略を変更し、最初の方法が阻まれると代替経路を探し、開発者が事前に想定していなかった形で複数のツールを組み合わせることができる。
その結果、あらかじめ定めた制限に主に依存する従来の安全モデルは、AIシステムの能力が広がるほど適用が難しくなる。
研究者らは、現実世界のインシデントとレッドチームテストを区別することも重要だと強調している。多くの場合、モデルは制限を回避しようとすることが想定される環境に意図的に置かれている。より深刻なリスクは、管理されたテスト環境の外で同様の挙動が発生した場合に生じる。
外部システムへのアクセスに厳しい監視
現在、AIエージェントが想定されたレベルの監督なしに外部リソースとやり取りした事例に、特に注目が集まっている。
こうした事例は、AIの能力が高まる中で、自律型モデルがインターネット、第三者サービス、その他のツールへアクセスするのをどの程度確実に防げるのかという、より広範な疑問を提起している。
OpenAIとAnthropicの調査は現在も続いており、追加のデータやテスト結果が精査されるにつれて、公表される事例数が増える可能性がある。
OpenAIは、米国政府機関が運営するウェブサイトを含む外部リソースと、同社のエージェントがやり取りした事例 についても調査している。
最新のAnthropicニュース
-
アイルランド
-
アゼルバイジャン
-
アフガニスタン
-
アメリカ合衆国
-
アラブ首長国連邦
-
アルジェリア
-
アルゼンチン
-
アルバニア
-
アルメニア
-
アンゴラ
-
イエメン
-
イギリス
-
イスラエル
-
イタリア
-
イラク
-
イラン・イスラム共和国
-
インド
-
インドネシア
-
ウガンダ
-
ウクライナ
-
ウズベキスタン
-
ウルグアイ
-
エクアドル
-
エジプト
-
エストニア
-
エスワティニ
-
エチオピア
-
エルサルバドル
-
オマーン
-
オランダ
-
オーストラリア
-
オーストリア
-
カザフスタン
-
カタール
-
カナダ
-
カメルーン
-
カンボジア
-
ガーナ
-
キプロス
-
キューバ
-
キルギス
-
ギリシャ
-
クウェート
-
クロアチア
-
グルジア
-
ケニア
-
コスタリカ
-
コロンビア
-
コンゴ
-
コンゴ民主共和国
-
コートジボワール
-
サウジアラビア
-
ザンビア
-
シリア
-
シンガポール
-
ジャマイカ
-
ジンバブエ
-
スイス
-
スウェーデン
-
スペイン
-
スリランカ
-
スロバキア
-
スロベニア
-
セルビア
-
ソマリア
-
タイ
-
タジキスタン
-
タンザニア
-
チェコ
-
チュニジア
-
チリ
-
デンマーク
-
トリニダード・トバゴ
-
トルコ
-
ドイツ
-
ドミニカ共和国
-
ナイジェリア
-
ナミビア
-
ニュージーランド
-
ネパール
-
ノルウェー
-
ハイチ
-
ハンガリー
-
バハマ
-
バングラデシュ
-
バーレーン
-
パキスタン
-
パナマ
-
パプアニューギニア
-
パラグアイ
-
パレスチナ
-
フィリピン
-
フィンランド
-
フランス
-
ブラジル
-
ブルガリア
-
ブルネイ・ダルサラーム
-
プエルトリコ
-
ベトナム
-
ベネズエラ
-
ベラルーシ
-
ベルギー
-
ペルー
-
ボツワナ
-
ボリビア
-
ポルトガル
-
ポーランド
-
マダガスカル
-
マルタ
-
マレーシア
-
ミャンマー
-
メキシコ
-
モザンビーク
-
モルドバ
-
モロッコ
-
モンゴル
-
モンテネグロ
-
モーリシャス
-
ヨルダン
-
ラオス
-
ラトビア
-
リトアニア
-
リビア
-
ルクセンブルク
-
ルワンダ
-
ルーマニア
-
レソト
-
レバノン
-
レユニオン
-
中国
-
中国台湾省
-
北マケドニア
-
南アフリカ
-
日本
-
韓国
-
香港
- Forex
- Crypto
