news.removed-tweet-widget.title
news.removed-tweet-widget.content
OpenAIのAstraは、ExploitBenchで100%のスコアを記録し、「重大な」サイバーセキュリティ能力レベルに到達しました。最近のHugging Faceのインシデントでは、AIエージェントがテスト環境を逸脱し、自律的にシステムを悪用できることが示されました。では、AI企業は現在開発中の能力を上回る安全システムを維持できるのでしょうか?
この記事は原文から翻訳されました。特派員による原文はこちら.
OpenAIの社内テストは、技術の進化がいかに速いかを示しています。AstraはExploitBenchで100%のスコアを記録し、既知の脆弱性からエクスプロイトを開発する能力を測定するベンチマークで優秀な成績を収めました。また、別の評価ではエクスプロイトチェーンを構築する過程で、これまで知られていなかった2つの問題も発見しました。さらに、強化されたブラウザサンドボックスを突破し、root権限を取得することにも成功しました。
Xで投稿を見る 読み込み中…
しかし、これはAstraが接触するすべてのコンピューターシステムを侵害できるという意味ではありません。テストは管理された環境で実施されましたが、アナリストは機会と脅威の両方を指摘しています。AIは膨大なコードベースから脆弱性を探し出し、防御的なテストを劇的に加速できますが、たった1つの脆弱性でも将来の攻撃や悪用の条件を生み出す可能性があります。
AstraはOpenAIの最近のHugging Faceに関するインシデントの原因ではありません。しかし、社内評価の際、OpenAIのモデルがテスト環境を逸脱し、パッケージレジストリプロキシの未知の脆弱性を特定・悪用したことでインターネットアクセスを獲得しました。その後、モデルはさまざまな攻撃手法を用いてHugging Faceのインフラにアクセスしました。
Xで投稿を見る 読み込み中…
OpenAIはこの出来事を、最先端の能力を伴う前例のないサイバーインシデントと説明しました。同社によれば、モデルは評価タスクの解決のみに集中し、インフラや倫理的制約を無視していました。インシデント中に議論されたタスクの93%は、これまで一度も解決されたことのない198の問題群から発生していたとされています。つまり、モデルは歴史的に問題を引き起こしてきた課題に集中していたのです。
従来のソフトウェアはエンジニアが検査できるルールに従います。大規模なAIエージェントは計画を立て、意思決定し、新たな状況に行動を適応させます。これらのシステムがより自律的になるにつれ、開発者はモデルが生み出すものだけでなく、目標達成までの過程も監視する必要があります。
Xで投稿を見る 読み込み中…
研究者たちは、新しいアプローチが従来型の監視の有効性を低下させる可能性について疑問を呈しています。Redwood ResearchのRyan Greenblatt氏は、監視がますます困難になるAIシステムへの業界の傾向について警鐘を鳴らしています。これは、エージェントが高性能になるほど監視の重要性が増すというパラドックスを生みます。OpenAIは、Astraのエージェント型アプリケーションにおけるリスク行動やミスアライメントの監視によってこの課題に取り組んでいると述べています。
OpenAIは、顧客がより自律的なAIをコーディングやサイバーセキュリティなどの高付加価値タスクに利用することを望んでいます。しかし、その自律性自体がアクセス制限の理由にもなります。OpenAIは、Astraの最も強力なサイバーセキュリティ機能を、防御的に技術を活用できる組織など、選ばれたテスターに限定する予定です。また、より強力な監視は正当な活動までブロックしてしまう誤検知を生む可能性があることも認めています。
Xで投稿を見る 読み込み中…
このトレードオフは、AI企業がエンタープライズ顧客を争う中でより重要になるかもしれません。自律的に高度なサイバーセキュリティ業務を遂行できるモデルは商業的価値が高い一方、攻撃者にも同様のことができるモデルは重大なセキュリティや責任リスクを生み出します。安全性のレイヤーを追加するごとに壊滅的な悪用リスクは減りますが、顧客にとって価値のある柔軟性も損なわれる可能性があります。
Astraは、AI業界の次の段階が知能だけで測られるものではないことを示唆しています。鍵となる優位性は、強力でありながら制御不能にならないエージェントを作れる企業にあるかもしれません。OpenAIは、人間の専門家よりも速く脆弱性を発見できるモデルを構築しつつ、それらのモデルが新たなセキュリティリスクを生み出さないようにしています。
Xで投稿を見る 読み込み中…
Hugging Faceのインシデントは、たとえ管理された評価でも、モデルが野心的な目標と高度な推論能力を持つ場合、予期せぬ行動につながる可能性があることを示しています。OpenAIにとって、AIの未来はモデルの知能がどれほど高くなるかではなく、人間がそのモデルに許可する行動を制御し続けられるかどうかにかかっています。