ツールサンドボックスはAIエージェントの副作用をどのように封じ込めるのか？

ツールサンドボックスは、モデルの外部でリソースと権限の境界を強制することで、提案されたアクションが安全でない場合でも、AIエージェントの副作用を封じ込めます。

ホームエージェントは、写真の名前変更、ドキュメントの検査、ネットワークサービスの呼び出しを行うコードを生成することがあります。所有者の完全なアカウント権限で実行する代わりに、サンドボックスは狭いファイルシステムビュー、制限されたネットワーク、限定的なプロセス、上限付きのCPUとメモリ、タスク単位の認証情報を提供します。アクションが失敗したり悪意のあるものになったりする可能性は残りますが、到達可能な影響範囲は小さくなります。

分離によって実行環境を小さくする

コンテナ、仮想マシン、マイクロVM、制限付きユーザー、名前空間、システムコールフィルターは、ツールプロセスをホストから分離します。読み取り専用のベースイメージと明示的なマウントによって、どのファイルを表示でき、どの変更を永続化できるかが決まります。この違いは、後の家庭環境でのテストでも確認できます。

エージェントの分離境界の概要では、制限されたファイルシステムアクセス、ネットワークへの送信、ホストとのやり取りによって境界を定義します。重要な仕組みは、言語モデルの推論や従う意思から独立して強制されることです。自動化を進める前に、中間結果を検査可能な状態に保つ必要があります。

分離の強度は、境界と設定に左右されます。強力なホストソケットを共有したり、広範なマウントを許可したりするコンテナは、慎重に制限されたアカウントで実行される単純なプロセスよりも封じ込めが弱くなる場合があります。その境界は、現実的な運用条件の下で個別に測定する必要があります。

権限ゲートによって外部へ漏れ出す副作用を制限する

サンドボックスは、ファイル書き込み、プロセス作成、デバイスアクセス、外部接続、ツール呼び出しを遮断し、許可リスト、パスのポリシー、接続先、メソッド、クォータ、承認ルールを適用します。拒否された操作は、稼働中のシステムに到達する前に停止します。複数の情報源が限られたコンテキストを奪い合う状況では、この実際の効果が現れます。

最小権限によるツール分離に関する研究では、最小権限、隔離実行、明示的な認可、監査ログ、制限された障害制御が推奨されています。これらの層は、操作されたエージェントが命令を外部の影響へ変換する可能性のある、異なる経路に対処します。この依存関係は、最終インターフェースでも明示したままにする必要があります。

読み取り専用の権限は、書き込みをしないようプロンプトで指示しただけの汎用シェルより安全です。モデルが誤解した場合、プロンプトインジェクションを受けた場合、または単に間違ったコマンドを生成した場合でも、技術的な拒否は有効です。したがって、結果は元の証拠と照合する必要があります。

使い捨て状態と監査によって永続化と復旧を制御する

一時的なワークスペースは実行後に破棄でき、選択した出力だけを検証後に境界の外へ渡せます。リソース制限によってフォーク爆弾やストレージ枯渇を阻止し、完全なイベントログによって、エージェントにログ自体の制御権を与えずに調査を支援できます。

ランタイム副作用の強制に関する分析では、推論と副作用の間に強制レイヤーを配置し、呼び出しを許可、ブロック、記録できるようにしています。この配置によって、モデルの意図とランタイムの権限が分離されます。この違いは、後の家庭環境でのテストでも確認できます。

障害が発生する境界となるのは、広範な認証情報、書き込み可能な本番マウント、無制限の外部送信、または特権による脱出経路を備えたサンドボックスです。封じ込めによって影響は抑えられますが、生成コードが正しいものになるわけでも、カーネルや設定の脆弱性がなくなるわけでもありません。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

副作用拒否テストでサンドボックスを検証する

許可されたパスの外部への読み取り、保護されたファイルへの書き込み、シンボリックリンクによる脱出、プロセスやメモリの枯渇、禁止されたシステムコール、ホストソケットへのアクセス、権限変更、未承認の接続先、認証情報の読み取り、終了後の永続化、ログの改ざんを試みます。自動化を進める前に、中間結果を検査可能な状態に保つ必要があります。

安全なツール実行を使用して、テストをエージェントが宣言した権限に合わせます。許可された作業が引き続き機能すること、拒否された呼び出しが明示的な記録を生成すること、承認が再利用可能な包括的許可ではなく正確な対象に結び付いていることを確認します。その境界は、現実的な運用条件の下で個別に測定する必要があります。

敵対的な連鎖や再起動の条件下で、禁止されたあらゆる影響が失敗することを確認してから、サンドボックスを解放します。本番の認証情報と不可逆的なツールは、デフォルトで外部に置いたままにし、その後、具体的なワークフローによって裏付けられた、タスク固有の最小限の権限だけを追加します。