DSpine搭載Qwen3.8-27B：ドラフトモデルによる推論の高速化

TencentのDSpineリリースでは、Qwen3.8-27B用の5層ドラフトチェックポイントが追加されました。完全なモデルで検証するため、複数のトークンを一度に提案します。十分な数の提案トークンが受け入れられ、ドラフトモデルの処理コストを補える場合、デコードが高速化する可能性があります。このペアを実行できるランタイムと、ターゲットモデルのQwen3.8-27Bが必要です。

11月7日公開のチェックポイントには、SGLang向けのセットアップが付属しています。モデルカードでは、複数のタスクやサンプリング条件で、ドラフトの受け入れ率をDFlash2と比較しています。これらの測定値は、ローカルでテストする際の出発点となります。ただし、あらゆるハードウェアで一貫してエンドツーエンドの速度が向上することを示すものではありません。

投機的デコードによって、トークンあたりの処理はどう変わりますか？

通常の生成ループでは、直前までの系列に依存する次のトークンを1つずつ生成します。投機的デコードのループでは、より低コストなドラフトモデルがトークンのブロックを提案し、その後、ターゲットモデルが提案を検証します。検証1回で、複数の位置をまとめて進められる場合があります。提案が却下された場合、検証側は確定できる部分を確定し、アルゴリズムの修正ルールに従って続行します。

この手法の利点は、追加のドラフト処理と検証の管理を行う代わりに、高コストなターゲットモデルの実行回数を減らせることです。ドラフトが頻繁に外れると、追加コストを払っても、1ステップで進める量はあまり増えません。また、ランタイムはキャッシュされた状態、バッチ処理、同期も管理する必要があります。候補を並列生成しながら、モデルが層をまたいで前段の特徴を渡す仕組みについては、DSpineの研究プロジェクトをご覧ください。

Tencentは具体的に何を公開したのですか？

チェックポイントカードには、ドラフト内の5つのドラフト層、ブロックサイズ16、8,192トークンのスライディングウィンドウが記載されています。このスライディングウィンドウは、ターゲットモデルがサポートするコンテキスト長を定義し直すものではありません。ドラフト構成の一要素を示しています。正確なターゲットとアーキテクチャは、Qwen3.8-27Bのモデルカードで確認してください。

Tencentが報告した構成では、SGLang 0.5.22、BF16、FlashAttention 3、同時実行数8を使用しています。モデルカードには、評価における動的検証とReplaySSMについても記載されています。結果を引用する際は、これらの情報をそのまま残してください。あるパッケージが対象モデルに対応していても、このドラフター、状態の処理、カーネル経路にも対応しているとは限りません。リポジトリの手順を確認し、非対応プラットフォームは別枠で評価してください。

受け入れ長が大きいと、何がわかりますか？

受け入れ長は、特定のドラフト方針とワークロードのもとで、1回の検証ステップで生成をどこまで先に進められるかを測ります。値が大きいほど性能向上が期待できますが、実際のレイテンシは検証コスト、ドラフトブロックのサイズ、ハードウェアによって決まります。公開されているDSpineとDFlash2の構成では、異なるドラフトブロックサイズが使われています。そのため、受け入れ長だけを比較しても、試行あたりの計算量は揃いません。

1回の検証で複数のトークンを受け入れられても、ドラフト生成と検証で小さなカーネルを何度も起動すると、改善幅は小さくなることがあります。短い回答と長い回答の両方をテストします。短い回答は対話時のオーバーヘッドを測り、長い回答はデコードのステップ数が多いため、投機的処理の効果が出やすくなります。

お使いのマシンでDSpineを公平に比較するには、どうすればよいですか？

構成間で、対象チェックポイント、精度、入力プロンプト、コンテキスト上限、デコード設定、ランタイムのビルドを同じにします。ドラフトなしのベースラインを実行します。対応するドラフトモードを追加し、正確な設定を記録します。DSpineとDFlash2を比較する場合は、ブロックサイズを記録し、どちらも想定されたカーネルと高速化経路で動作していることを確認します。

1. 定常状態の結果を記録する前に、各モードを同じ短いプロンプトでウォームアップします。
2. まず1ユーザーずつ比較し、次にホストで通常処理する同時実行数で繰り返します。
3. 出力トークン数、最初のトークンが出るまでの時間、生成速度、ピークメモリ使用量を記録します。
4. コード補完、複数ファイルの推論、出力が制約されたツールを含めます。不正な呼び出しやタイムアウトも記録します。
5. モデルが正しく完了できるタスクについて、最初から最後までの完了時間を比較してください。

基本的なハードウェア要件については、Qwen3.8-27Bのデプロイガイドをご覧ください。コーディング連携に関する記事では、リポジトリやツールの実行コストが、生成のみの速度テストを上回る場合の例を紹介しています。

ドラフトモデルに追加のメモリを割く価値があるのはどんな場合ですか？

デコードが全体の処理時間に大きく影響し、ターゲットが十分な余裕をもって収まり、ランタイムがその構成を明示的にサポートしている場合は、テストする価値があります。一部のコード編集や構造化された応答など、続きを予測しやすいワークロードでは、受け入れられるブロックが長くなる可能性があります。ベンチマークの結果をあらゆるタスクに当てはめず、実際のタスクで検証してください。

長いプレフィックスやツール呼び出しが処理時間の大半を占める場合、デコードの高速化による経過時間の短縮はわずかかもしれません。GPUのメモリ使用率がすでに限界に近い場合、追加のドラフト重みと状態によって、同時実行に使える余裕が減る可能性があります。複数のセッションを同時に実行する必要がある場合は、単一ストリームの最高速度だけでなく、全体のスループットとテールレイテンシを比較しましょう。Flash Nextのメモリガイドでは、別のチェックポイントにおけるモデル配置とキャッシュ予算の関連するトレードオフを解説しています。

よくある質問

DSpineチェックポイントだけで質問に回答できますか？

これはQwen3.8-27B向けに設計されたドラフトコンポーネントです。ターゲットモデルが提案された続きを検証します。

ブロックサイズ16なら、毎回16トークンが受け入れられるということですか？

いいえ。ここで説明しているのは提案ブロックです。受け入れ率はプロンプト、サンプリング、ドラフトの挙動によって変わります。

このアップデートはOllamaで自動的に動作しますか？

DSpineのカードには、SGLangでの評価が記載されています。ターゲットとドラフトの組み合わせがサポートされていると判断する前に、実際のランタイムを確認してください。

受け入れられるトークン数が多いモデルのほうが遅くなることはありますか？

はい。追加の計算、同期、状態管理、メモリ負荷が、性能向上を相殺することがあります。

これによってターゲットモデルの重み用メモリは減りますか？

ターゲットは引き続きメモリに読み込まれます。ドラフトと関連する状態によって、メモリ使用量が増えることがあります。

結論

DSpineを使って、Qwen3.8-27Bのワークロードで、1回のターゲット処理あたりに複数の推測トークンを受け入れるメリットがあるかテストしましょう。受け入れ率、ピークメモリ、タスク全体のレイテンシをまとめて測定します。ドラフトによって、メモリを使い切らずに、重視するインタラクティブまたはバッチの指標が改善するなら、実行時の複雑さが増す価値はあるかもしれません。