最新のブログ

モデルパラメータは固定されたままですが、アテンション状態はトークン数、レイヤー数、精度、バッチサイズ、同時に処理する家庭内AIリクエスト数に応じて増加します。

継続的バッチ処理によりアクセラレーターを稼働させ続けられますが、公平性は、異なる規模の家庭内リクエストに対してサービスをどのように測定し、分配するかに左右されます。

スライディングウィンドウは、直近のトークン範囲だけを保持することでアクティブなKVメモリを制限し、全履歴へのアテンションと引き換えに、予測可能な推論容量を実現します。

Prefillは多数の入力トークンに対して並列に行列演算を実行する一方、decodeは受理されたトークンを1つずつ処理し、モデルの状態を繰り返し読み取ります。

スペキュレーティブデコーディングは、複数の将来トークンを下書きしてまとめて検証することで、正確なデコーディング結果を変えずに、ターゲットモデルによる逐次処理のステップ数を削減します。

量子化では数値近似が導入されるため、品質はビット幅、手法、キャリブレーションデータ、モデル規模、そしてテスト対象のワークフローによって異なります。

KVキャッシュは、モデルがすべてのTransformerレイヤーとアクティブなリクエストで、より多くのプロンプトトークンと出力トークンに対応するアテンションのキーと値を保持するにつれて増大します。

アクセラレーターのスケジューリングにより、どのユーザーがモデルに入るか、各イテレーションを共有するか、キャッシュ状態を維持するか、あるいはより長時間で優先度の高い処理の後ろで待機するかが決まります。