トークン毎秒を超えてMercury 3のレイテンシを測定する方法

タスクを開始してから出力が使える状態になるまで、Mercury 3の所要時間を測定します。最初の応答までの時間、応答全体が届くまでの時間、ツールも含めた合計時間を記録しましょう。1秒あたりのトークン数でわかるのは生成の一部です。出力までの待ち時間や、モデルの処理完了後に必要な作業は反映されないことがあります。

明確な合格基準を設けた小さなテスト用データを1つ使い、プロンプト、入力ファイル、ツール環境、モデル設定を記録しておきましょう。基本的な動作を確認し、ボトルネックを見つけるにはそれで十分です。失敗の原因究明や判断に追加の根拠が必要な場合にのみ、テストを拡大しましょう。

どのタイムスタンプを記録すればよいですか？

所要時間の測定には単調増加時計を使い、ストリーミングが有効かどうかを記録します。プロバイダーを比較する場合は、接続の確立条件と接続の再利用条件を揃えましょう。ストリーミングを使わないリクエストから、最初のトークンが届くまでの時間を推測しないでください。

公平なテスト用プロンプトはどう選べばよいですか？

承認済みの文書から指定されたフィールドを抽出する、コピーしたリポジトリに小さな変更を加えるなど、実際に行う範囲を限定したタスクを選びます。各実行で入力と必要な出力を同じに保ちます。結果を正しく解釈できるよう、モデル識別子、推論レベルの設定、出力上限を記録しましょう。

Mercury 3の概要では、ベンダーが公表するスループットの数値だけでは、タスク単位の測定の代わりにならない理由を説明しています。

ツールは結果にどのような影響を与えますか？

モデルの応答待ちとツールの実行を分けて考えましょう。NASからの読み込み、ページ移動、外部検索に時間がかかると、複数ステップのタスク全体を大きく左右することがあります。失敗した試行にかかった時間を無視せず、リトライ、ツール引数の誤り、ファイルの再読み込みの回数を記録しましょう。

エージェントハーネスのチェックリストを使って、各遅延の原因となっているコンポーネントを特定しましょう。モデル呼び出しがタスク全体のごく一部なら、生成アーキテクチャを変更するより、ストレージへのアクセスやタスク設計を改善するほうが効果的かもしれません。

何回実行すればよいですか？

1回の実行でも、接続性や明らかな正確性の問題を確認するには役立ちます。数回、同じ条件で繰り返せば、実用上の大きな違いが明らかになる場合がありますが、信頼性を精密に評価したり、テールパーセンタイルが安定していると判断したりする根拠にはなりません。導入時のリスクや性能差が僅差であることから必要と判断される場合に限り、観測回数を増やしてください。

失敗は必ず見える形で残してください。失敗を何度か繰り返した中から成功した実行だけを選んでも、代表的な証拠にはなりません。重点的なワークフロー検証ガイドでは、手軽な受け入れ確認の方法を紹介しています。

レイテンシーと合わせて何を報告すべきですか？

成果物がレビューに合格したか、関連する利用料金、ツールの呼び出し回数、手作業による修正を報告してください。実行環境と日付も記載します。タイムアウトした場合は、見栄えのよい速度スコアを割り当てず、タイムアウトとして記録してください。

NAS上のファイルについては、テスト用データと採用した出力を別々のディレクトリに保存してください。測定結果の意味を判断するにはアーキテクチャ比較を、パイロットでのデータ露出を限定するにはファイル準備ガイドを参照してください。

よくある質問

異なるトークナイザーの1秒あたりのトークン数をそのまま比較できますか？

そのような数値は慎重に扱ってください。トークンの定義、出力内容、測定条件はプロバイダーごとに異なる場合があります。

APIがストリーミングに対応していない場合は？

応答全体の所要時間とタスクの完了状況を測定してください。クライアントで観測できない初回トークンまでの時間を報告しないでください。

失敗した実行は除外すべきですか？

いいえ。タイムアウト、再試行、却下された成果物も記録してください。実際の完了時間とコストに影響するためです。

パイロットの前に大規模なベンチマークは必要ですか？

いいえ。代表的な小規模タスクから始め、意味のある不確実性を解消する必要がある場合にのみ測定範囲を広げてください。

関連記事

• Mercury 3を解説：高速なAIワークフローに拡散型言語モデルが重要な理由
• 拡散型LLMと自己回帰型LLM：パーソナルAIワークフローに適しているのはどちら？

出典

• 公式発表とモデルドキュメント — www.inceptionlabs.ai
• 技術文書とリファレンス — docs.inceptionlabs.ai

カバー画像：Mercury 3の公式発表画像。画像の出典。