ローカルAIエージェントにおけるツール実行の信頼境界とは？

ツール実行の信頼境界は、モデルが生成した意図と、特権を伴う副作用を分離します。これにより、ローカルAIエージェントが任意のテキストを独断で権限に変えることを防ぎます。

これは、機密ファイルを対象とする一般的なプライバシー境界よりも狭いものです。ホームエージェントはローカルコンテキストを推論したり、コンテナの再起動を提案したり、ツール引数を生成したりできます。しかし、これらの出力が自動的にサーバーを変更する権限を受け継いではなりません。信頼境界は実行レイヤーに位置し、そこでスキーマ検証、身元確認、リソース範囲、認可、承認、監査によって、信頼されていない提案が許可されたアクションへと変換されます。

境界はモデルの意図と特権実行の間に位置する

言語モデルはツール名や引数を生成できますが、それらのトークンは依然として生成コンテンツです。実行レイヤーは、それらを呼び出し元がアクションを実行する権限を持つ証拠ではなく、評価すべきリクエストとして扱う必要があります。

ゼロトラストアーキテクチャでは、リクエストがネットワークやプロセスの境界内から発信されたという理由だけで、暗黙に信頼を付与することはありません。明示的なリソースアクセス判断は、ローカルエージェントのツール実行にも適した考え方です。

この原則は、モデルがホームサーバー上で動作している場合にも適用されます。ローカルであることはデータの配置を保護しますが、モデルの出力を信頼できる管理者コマンドに変えるわけではありません。

ツールの説明と推論は信頼されていない側に留まる

プロンプト、取得したドキュメント、ウェブコンテンツ、ツールの説明はすべて、モデルが提案するアクションに影響を与える可能性があります。そうしたテキストのいずれかが直接権限を作り出せる場合、プロンプトインジェクションや誤った計画が独立したチェックなしにサーバー制御へ入り込む可能性があります。

ツールは任意のコード実行を表現できるため、ツール呼び出しの安全性は、モデルによるツール選択から分離しておく必要があります。

スキーマの説明によってアクションの形状を制限することはできますが、それらも提案の対象範囲に含まれます。`path`というフィールドが構文上有効であっても、エージェントが指定可能なすべてのパスに書き込めることを意味するわけではありません。

これにより境界は明確になります。一方では推論を柔軟かつ確率的に行い、もう一方では権限チェックを決定論的かつ強制可能なものとして維持できます。

認可によって、通過できるリソースと操作を絞り込む

提案された呼び出しが境界に到達したら、実行器は処理を行う前に、実際の身元、対象リソース、操作、認証情報の範囲を確定する必要があります。広範な暗黙の認証情報を使うとこの区別が失われ、構文上有効なリクエストがすべて実行可能になり得ます。

OAuthベースの制御によって、保護されたリソースと操作を守ることができます。これは、ツールの接続性とツールの権限が別の問題であることを改めて示しています。

ツール範囲を狭く設定することで到達範囲を制限できます。信頼境界の観点では、副作用が発生する前に、これらの制約をどこで適用すべきかを説明します。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

検証、承認、監査によって境界の通過を完了させる

認可は、ある身元が操作を実行できるかどうかを判断します。しかし安全な境界では、影響の大きいアクションを実行に移す前に、スキーマ検証、現在の状態の確認、ユーザーによる明示的な承認、レート制限、実行予算などを追加で要求することもできます。

混乱した代理人の問題やトークン処理のリスクがあるため、認可境界の不備は、プロンプトエンジニアリングの問題ではなく、実行レイヤーの問題です。

アクションが通過した後は、承認済みのパラメーター、身元、結果、観測可能な副作用を記録してください。これにより、後から接続が切断された場合でも、失敗したリクエストと、接続が切れる前に成功したアクションを区別できます。

バイパス経路が排除されて初めて、境界は有効になります。エージェントが同時に制限のないシェル、書き込み可能なDockerソケット、または管理者トークンも持っているなら、綿密に設計されたツールブローカーは、もはや実際の信頼境界を定義できません。