Qwen3.8-27B com DSpine: como os modelos de rascunho aceleram a inferência

A versão DSpine da Tencent acrescenta um checkpoint de rascunho com cinco camadas para o Qwen3.8-27B. Propõe vários tokens de cada vez para serem verificados pelo modelo completo. A possibilidade de acelerar a descodificação depende de serem aceites tokens propostos suficientes para compensar o trabalho do modelo de rascunho. Continua a precisar do modelo-alvo Qwen3.8-27B e de um ambiente de execução capaz de executar ambos.

O checkpoint de 7 de novembro foi publicado com uma configuração orientada para o SGLang. O respetivo cartão de modelo compara a aceitação dos rascunhos com a do DFlash2 em várias tarefas e condições de amostragem. Estas medições são um ponto de partida para um teste local. Não demonstram uma melhoria uniforme da velocidade de ponta a ponta em todo o tipo de hardware.

Como é que a descodificação especulativa altera o trabalho por token?

Um ciclo de geração normal produz um token seguinte de cada vez, dependendo cada token da sequência anterior. Num ciclo especulativo, um modelo de rascunho mais económico propõe um bloco e, em seguida, o modelo-alvo verifica as propostas. O processo pode avançar várias posições aceites num só passo de verificação. Quando as propostas são rejeitadas, o verificador confirma o que puder e prossegue de acordo com as regras de correção do algoritmo.

A vantagem é reduzir o número de passagens dispendiosas pelo modelo-alvo, em troca de trabalho adicional para o modelo de rascunho e de tarefas de gestão da verificação. Se o rascunho falhar muitas vezes, incorre no custo adicional sem avançar muito mais por passo. O ambiente de execução também tem de gerir estados em cache, lotes e sincronização. Consulte o projeto de investigação DSpine para saber como o modelo passa características das camadas predecessoras entre camadas enquanto gera candidatos em paralelo.

O que publicou exatamente a Tencent?

O cartão do checkpoint especifica cinco camadas de rascunho, um tamanho de bloco de 16 e uma janela deslizante de 8.192 tokens no rascunho. Essa janela deslizante não redefine o contexto suportado pelo modelo-alvo. Descreve um componente da configuração do rascunho. Confirme o alvo e a arquitetura exatos no cartão do modelo Qwen3.8-27B.

A configuração divulgada pela Tencent usa SGLang 0.5.22, BF16, FlashAttention 3 e concorrência 8. O cartão do modelo também descreve a verificação dinâmica e o ReplaySSM na avaliação. Mantenha esses detalhes ao citar os resultados. Um pacote compatível com um modelo de destino não é automaticamente compatível com este modelo auxiliar, com a gestão do estado ou com o caminho do kernel. Consulte as instruções do repositório e avalie as plataformas não suportadas separadamente.

O que indica um comprimento de aceitação mais elevado?

O comprimento de aceitação mede até que ponto um passo de verificação pode fazer avançar a geração com uma determinada política de assistência e carga de trabalho. Um valor maior costuma favorecer ganhos potenciais, mas a latência efetiva depende do custo da verificação, do tamanho do bloco auxiliar e do hardware. A configuração publicada do DSpine e do DFlash2 usa tamanhos de bloco auxiliar diferentes. Por isso, uma comparação apenas dos comprimentos de aceitação não normaliza o esforço computacional por tentativa.

Uma passagem pode aceitar vários tokens e, ainda assim, trazer poucas melhorias se o modelo auxiliar e a verificação lançarem muitos kernels pequenos. Teste tanto uma resposta curta como uma resposta longa. A primeira mede a sobrecarga interativa; a segunda tem mais passos de descodificação, durante os quais o trabalho especulativo pode compensar.

Como comparar o DSpine de forma justa na sua máquina?

Use o mesmo checkpoint de destino, precisão, prompt de entrada, limite de contexto, definições de descodificação e compilação do ambiente de execução em todas as configurações. Execute uma linha de base sem modelo auxiliar. Adicione um modo auxiliar compatível e registe as definições exatas. Se comparar DSpine e DFlash2, documente os tamanhos dos blocos e confirme que ambos usam os kernels e os caminhos de aceleração previstos.

1. Aqueça cada modo com o mesmo prompt curto antes de registar os resultados em estado estável.
2. Compare com um utilizador de cada vez e, em seguida, repita com o nível de concorrência que o seu sistema costuma suportar.
3. Registe o comprimento da saída, o tempo até ao primeiro token, a velocidade de geração e o pico de memória.
4. Inclua conclusão de código, raciocínio entre vários ficheiros e saída de ferramentas com restrições. Registe chamadas malformadas e tempos limite.
5. Compare os tempos de conclusão de ponta a ponta das tarefas que os modelos executam corretamente.

Consulte o guia de implementação do Qwen3.8-27B para questões sobre o hardware de base. O artigo sobre coordenação de programação apresenta exemplos em que os custos de execução de ferramentas e repositórios podem prevalecer sobre os de um teste de velocidade apenas de geração.

Quando é que o modelo de rascunho justifica a memória adicional?

Vale a pena testar quando a descodificação representa uma parte significativa do tempo total, o modelo-alvo já cabe folgadamente e o ambiente de execução suporta explicitamente esta configuração. Cargas de trabalho com continuações previsíveis, como algumas edições de código ou respostas estruturadas, poderão permitir blocos aceites mais longos. Teste isso nas suas tarefas, em vez de extrapolar os resultados de um benchmark para todos os trabalhos.

Se os prefixos longos ou as chamadas de ferramentas forem predominantes, uma via de descodificação mais rápida poderá reduzir pouco o tempo total. Se a sua GPU estiver quase a atingir a capacidade máxima, os pesos adicionais do modelo de rascunho e o estado podem reduzir a capacidade disponível para a execução simultânea. Se precisar de várias sessões em simultâneo, compare o débito global e a latência de cauda, não apenas a velocidade máxima de um único fluxo. O guia de memória do Flash Next aborda compromissos relacionados entre a colocação do modelo e o orçamento da cache para outro ponto de verificação.

Perguntas frequentes

O ponto de verificação do DSpine consegue responder a perguntas sem outro modelo?

É um componente de rascunho concebido para o Qwen3.8-27B. O modelo-alvo verifica a continuação proposta.

O tamanho de bloco 16 significa que são sempre aceites 16 tokens?

Não. Descreve o bloco de proposta. A aceitação varia consoante o prompt, a amostragem e o comportamento do modelo de rascunho.

Esta atualização funciona automaticamente no Ollama?

O cartão do DSpine documenta uma avaliação com o SGLang. Verifique o ambiente de execução exato antes de presumir que suporta o par de modelo-alvo e modelo de rascunho.

Um modelo com mais tokens aceites pode ser mais lento?

Sim. O cálculo adicional, a sincronização, a gestão do estado e a pressão sobre a memória podem anular o ganho.

Isto reduzirá a memória ocupada pelos pesos do modelo-alvo?

O modelo-alvo continua carregado. O modelo de rascunho e o estado associado podem aumentar a utilização de memória.

Conclusão

Utilize o DSpine para testar se a sua carga de trabalho com o Qwen3.8-27B beneficia da aceitação de vários tokens especulativos por passagem do modelo-alvo. Avalie em conjunto a taxa de aceitação, a memória máxima e a latência total da tarefa. Se o modelo de rascunho melhorar a métrica interativa ou em lote que lhe interessa, sem esgotar a memória, a complexidade adicional em tempo de execução poderá justificar-se.