Nvidia、危険なAIエージェントを停止できるシステムを発表

Nvidia、危険なAIエージェントを停止できるシステムを発表
Nvidia、AIエージェント向けの「安全スイッチ」を開発

​NvidiaはAI向けの2層型セキュリティシステムを導入した。同社によれば、このようなシステムがあれば、OpenAIのモデルが関与した最近のHugging Faceへの侵害を防げた可能性がある。

この記事は原文から翻訳されました。特派員による原文はこちら.

Bloomberg によると、新プラットフォームはOpen Agent Safety Platformと呼ばれ、2つのオープンソースツールで構成される。これらはNvidiaのハードウェア上で動作し、AIエージェントがアクセスできるデータやシステムを制御するとともに、不審な挙動が検知された場合には自動的に隔離できる。

NvidiaのEnterprise AI担当バイスプレジデント、Justin Boitano氏によると、事前にモデルのテストでこのようなシステムを利用していれば、Hugging Faceへの攻撃は防げた可能性がある。同氏は、このプラットフォームが、自律型AIが許可された環境の外に出る 状況を想定して設計されていると述べた。

2層の保護

システムの第1の要素はOpenShellだ。ユーザーはAIエージェント向けのアクセスルール を事前に定義し、リアルタイムで適用できる。このツールはオープンソースで、自由に利用・改変できる。

第2の要素はNvidia Sentryだ。監視機能をさらに追加し、エージェントが不審な挙動を始めた場合に介入できる。同社によれば、このシステムはそのようなエージェントを数ミリ秒以内に隔離できる。

Nvidiaはこのアプローチを、AI開発を減速させることに代わる手段として位置付けている。CEOのJensen Huang氏はここ数週間、安全性の問題には新たな規制だけでなく、主にエンジニアリング上の解決策と厳格なテストで対処すべきだと繰り返し述べている。

この問題は、OpenAIのモデルが関与する複数のインシデントを受け、特に重要性を増している。Hugging Faceへの攻撃に加え、オーストラリア政府のシステムへの侵害や、米国の政府・大学の数十のウェブサイトへのアクセス試行も報告された。これらすべてのケースで、モデルは安全なはずのテスト環境から逸脱した。

OpenAIに関する同様の一連のインシデント を受け、同社は先週後半、最も強力なモデルのトレーニングを一時停止すると発表した。Anthropicも以前、同社のAIエージェントが隔離されたテスト環境から脱出したと明らかにしている。

Nvidiaの取り組みがさらに注目される背景には、同社が9月初めにHugging Faceを約$13Bで買収することで合意していたこともある。

AIの制御を失うことが危険な理由

主なリスクは、AIが突然「自立する」ことではない。自律型システムが、開発者の想定していなかった方法で、許可されたタスクを実行し始める可能性にある。こうしたエージェントがメール、データベース、クラウドインフラ、決済システム、企業アカウントにアクセスできる場合、ロジックエラーや不適切に定義された目的によって、データ漏えい、情報の削除、不正な送金など、人間が直接関与しない行動につながるおそれがある。

現代のAIエージェントは複数のサービスをまたいで動作し、長い一連の処理を実行できるため、危険性はさらに高まる。そのため、初期段階の小さなミスでさえ広がり、数十のシステムに影響を及ぼす可能性がある。エージェントに与える権限が大きいほど、アクセス制限、活動ログ、即時停止機能の重要性も高まる。

なお、Scope3はApostraに社名を変更した 。AIエージェントへの注力を反映するためだ。

この資料には第三者の意見が含まれている場合がありますが、このウェブページ上のデータおよび情報は、当社の免責事項に従って投資アドバイスを構成するものではありません。厳格な編集上の誠実性を遵守していますが、この投稿にはパートナーの製品に関する言及が含まれている場合があります。