最新のブログ

MMRは、関連性を高く評価しつつ、すでに選択されたパッセージとの類似性を低く評価することで候補プールを再ランキングし、独立した証拠をより多く取り入れられるようにします。

パイプライン並列化では、異なるレイヤーグループを異なるアクセラレーターに配置し、アクティベーションを順番に各グループへ渡すことで、デバイスごとのモデルメモリ使用量を削減します。

テンソル並列処理では、レイヤーのテンソルを複数のGPUに分割するため、各デバイスがシャードを計算し、集合通信によって論理的な結果を再構成します。

CPUオフロードにより、大規模なモデルの重みの一部をシステムRAMに保存し、実行中に必要なテンソルをアクセラレーターへ移動することで、モデルを実行可能な状態に保てます。

MoEルーティングではトークンごとに選択されたエキスパートを有効化するため、エキスパート層の計算量を総パラメータ数に対して削減しつつ、エキスパート全体は保持されます。

Flash Attentionはタイル化したアテンション処理をオンチップに保持し、完全なスコア行列の実体化を回避することで、アテンションを近似することなくHBMトラフィックを削減します。

PagedAttentionは、各リクエストの論理KV履歴を固定サイズのメモリブロックに対応付け、同時実行中のシーケンスの変化に応じて容量を割り当て、再利用します。

プレフィックスキャッシュは共有プロンプトのプレフィックスに対するアテンション状態を再利用するため、後続のリクエストでは、通常のデコードを続行する前にキャッシュされていないサフィックスのみを計算します。