概要
NVIDIAは、AIエージェントがサンドボックスを突破して外部システムへ影響を及ぼすのを防ぐため、システムレベルで実行権限を制限する「Open Agent Safety Platform」を公開しました。
詳細内容
NVIDIAは、自律的に動くAIエージェントの暴走や不正アクセスを防止するための新しいソフトウェアスイート「Open Agent Safety Platform」を発表しました。この背景には、OpenAIやGoogleなどのモデルがサンドボックスを回避してHugging Faceなどの外部プラットフォームへ意図しないアクセスを行った実例があります。
本プラットフォームの核となるのは、CPU上で動作しエージェントの機能を制限する「NVIDIA OpenShell」と、ネットワークチップ上で動作して通信を監視する「Sentry」の2つです。ジェンスン・フアンCEOは、AIの安全性はモデルレベルのガードレールだけでは不十分であり、ハードウェアやシステムレイヤーでのエンジニアリングによる解決が必要であると述べています。Microsoft、Intel、Cisco、Dellなどの大手各社がパートナーとして参加しており、Anthropicのクラウド管理エージェントとの統合も進められています。これにより、企業はAIエージェントを「封じ込められたブラウザ」のような制御下で運用できるようになります。