最新のブログ

スライディングウィンドウは、直近のトークン範囲だけを保持することでアクティブなKVメモリを制限し、全履歴へのアテンションと引き換えに、予測可能な推論容量を実現します。

Prefillは多数の入力トークンに対して並列に行列演算を実行する一方、decodeは受理されたトークンを1つずつ処理し、モデルの状態を繰り返し読み取ります。

スペキュレーティブデコーディングは、複数の将来トークンを下書きしてまとめて検証することで、正確なデコーディング結果を変えずに、ターゲットモデルによる逐次処理のステップ数を削減します。

量子化では数値近似が導入されるため、品質はビット幅、手法、キャリブレーションデータ、モデル規模、そしてテスト対象のワークフローによって異なります。

KVキャッシュは、モデルがすべてのTransformerレイヤーとアクティブなリクエストで、より多くのプロンプトトークンと出力トークンに対応するアテンションのキーと値を保持するにつれて増大します。

アクセラレーターのスケジューリングにより、どのユーザーがモデルに入るか、各イテレーションを共有するか、キャッシュ状態を維持するか、あるいはより長時間で優先度の高い処理の後ろで待機するかが決まります。

埋め込み処理はアクセラレーター、CPU、メモリ、ストレージを長時間バッチで消費するため、チャットのプレフィル、デコード、検索、初回トークンの応答が遅延します。

ランタイムは、今後の割り当ての低速化を避けるため、リクエスト処理後も再利用可能なGPUメモリブロックを確保しておくことがあります。そのため、アクティブなテンソルリークがなくてもプロセスメモリの使用量が高いままになる場合があります。