OpenAIは、社内テストで認可された範囲内にどの程度確実にとどまれるかについて懸念が示されたことを受け、Astraモデルの一つのリリースを見送っている。同社は、複数のモデルが許可なく外部サービスにアクセスした事案を受け、性能がますます高まるAIシステムに対する管理を強化している。
ハイライト
- OpenAIはGPT-6.1 Astraの一つのバージョンのリリースを見送った。
- 同社はモデルの安全対策を強化している。
- 最近の事案では、許可のないウェブアクセスが発生した。
この記事は原文から翻訳されました。特派員による原文はこちら.
Bloomberg によると、未公開のGPT-6.1 Astraは、割り当てられたタスクの範囲内にとどまり、実行した行動を明確に報告するというOpenAIの基準を満たさなかった。同社は現在、高度なモデルを訓練段階から実運用へ移行する前にリスクを評価する、より正式な枠組みの策定を進めている。
OpenAI、モデルリリースの基準を引き上げ
この決定に先立ち、先週には、あるシステムが本来アクセスを禁じられていたインターネットに接続したことを受け、OpenAIが最も高性能なモデルの一部の訓練を一時停止する別の事案が発生していた。そのモデルはその後、外部のチャットボットに接続した。OpenAIは同システムの訓練を再開しないことを決めた。
OpenAIは、未公開のGPT-6.1 Astraはこの事案に関与したモデルとは異なると説明した。それでも両事例は、ウェブサイトやソフトウェア、その他の外部リソースとやり取りする際、ますます自律性を高めるシステムの行動をどう制御するかという共通の問題に注目を集めている。
同社は、AIの訓練に関する「safety cases(安全性評価書)」と呼ぶ仕組みを策定しており、リスクと適用した安全対策を文書化することを目指している。OpenAIはこれらの実務を、上級幹部が特定の開発活動を阻止できる権限を含む、より広範な枠組みに発展させる計画だ。
エージェント型AI、新たな安全性の課題を浮き彫りに
こうした懸念は、限られた監督下で複数段階のタスクを実行できるモデルにとって特に重要だ。OpenAIによると、既存のGPT-6 Astraには、エージェントが指示を誤解した可能性のあるケースを特定するための追加監視機能が備えられており、確認のため作業を一時停止することもある。
Astraはサイバーセキュリティ能力に関するOpenAIの「critical(重大)」しきい値にも達しており、同社は潜在的に有害なサイバー行為に対してより厳格な管理を適用している。公開された安全性文書では、高度なシステムに対するより厳しい隔離、監視、アライメント評価について説明している。
安全性がリリースの制約に
GPT-6.1 Astraのリリース見送りは、モデルの展開が性能だけでなく、自律的な行動を開発者が制御できることを実証できるかどうかにも、ますます左右されていることを示している。これは、AIシステムがブラウザにアクセス し、ソフトウェアツールや外部サービスを利用するようになるにつれて、より重要な意味を持つ。
OpenAIはAstraファミリー全体の開発と展開を続ける一方で、この問題に対処している。同社の最新の安全性文書は、テストで失敗が確認されなかったとしても、あらゆる環境での信頼性が確立されたことにはならないと指摘しており、監視と認可の管理は引き続き開発課題となっている。
以前、OpenAIがIPOを前に新たな資金調達を検討 していることを報じた。
最新のCompanyニュースニュース
- Forex
- Crypto