O que é a taxa de aceitação da descodificação especulativa e porque é importante?

A taxa de aceitação da descodificação especulativa mede a frequência com que a verificação pelo modelo-alvo mantém os tokens propostos pelo modelo preliminar, moldando diretamente o trabalho útil obtido em cada passagem de verificação.

Um modelo preliminar mais pequeno pode propor vários tokens futuros enquanto um modelo local maior os verifica em paralelo. Se a maioria das propostas for aceite, uma passagem dispendiosa pelo modelo-alvo faz avançar a resposta várias posições; se a rejeição ocorrer cedo, grande parte do trabalho preliminar é descartada. A taxa é, portanto, um indicador de eficiência dependente da carga de trabalho, não uma pontuação de precisão autónoma nem uma garantia de aceleração de ponta a ponta.

A Aceitação Mede o Progresso Verificado das Propostas

Na amostragem especulativa padrão, a distribuição preliminar propõe um bloco e o modelo-alvo avalia essas posições em conjunto. Os tokens são aceites por ordem até à primeira rejeição, após o que o algoritmo amostra uma correção e inicia outra ronda especulativa.

O artigo original sobre descodificação especulativa define uma probabilidade de aceitação a partir da relação entre as distribuições preliminar e-alvo, preservando simultaneamente a distribuição de saída do modelo-alvo. O progresso aceite, e não a semelhança visual entre as respostas dos modelos, é a grandeza relevante.

As implementações podem comunicar os tokens aceites divididos pelos tokens propostos, o comprimento médio aceite ou a probabilidade de aceitação. Estas métricas estão relacionadas, mas não são idênticas, pelo que as comparações exigem a mesma definição e o mesmo comprimento das propostas. Esta distinção continua visível durante os testes domésticos posteriores.

A Qualidade do Modelo Preliminar e a Política de Amostragem Alteram a Taxa

Um modelo preliminar mais próximo do modelo-alvo na linguagem, no domínio e no prompt atuais tende a propor mais continuações aceitáveis. A temperatura, o top-p, o alinhamento do tokenizador, o comprimento das propostas e a confiança do modelo-alvo também alteram a frequência com que um bloco é aceite.

A descodificação especulativa online adapta o modelo preliminar com base no feedback do modelo-alvo e indica que melhorar a taxa de aceitação de tokens pode reduzir a latência em distribuições de pedidos variáveis. O resultado demonstra que a aceitação pode variar com a carga de trabalho, em vez de permanecer uma propriedade fixa do par de modelos.

Um modelo preliminar maior pode aumentar a aceitação, mas custa mais a executar; um modelo preliminar mais pequeno é económico, mas pode ser rejeitado com frequência. A escolha útil equilibra o progresso aceite com o tempo de geração preliminar e de verificação. O resultado intermédio deve continuar a ser inspecionável antes de a automatização prosseguir.

Uma Aceitação Elevada é Necessária, mas Não Suficiente para Acelerar

O ganho de ponta a ponta também depende da capacidade do modelo-alvo para verificar um bloco eficientemente, da latência da geração preliminar, do tráfego de memória, da sincronização, do tamanho do lote e do custo do trabalho rejeitado. Uma fração elevada em blocos curtos pode poupar menos passos sequenciais do que uma fração moderada em blocos de tamanho adequado.

O Medusa substitui um modelo preliminar separado por várias cabeças de descodificação que propõem várias continuações a partir da representação do modelo-alvo. O seu design mostra que a arquitetura das propostas e a verificação moldam o mesmo compromisso de débito. Esse limite deve ser medido separadamente em condições de funcionamento realistas.

O limite de falha ocorre numa carga de trabalho em que a geração preliminar mais a verificação custam tanto como a descodificação normal. Código, texto multilingue, amostragem criativa ou mudanças de domínio podem reduzir o comprimento aceite ao ponto de a especulação consumir memória adicional sem reduzir a latência.

Featured

ZimaCube 2 NAS Pessoal Cloud para Casa

ZimaCube2

$799.00 - $2,499.00

Buy Now

Meça o Progresso Aceite por Milissegundo

Para cada classe de prompt, registe os tokens propostos, os tokens aceites, o comprimento do prefixo aceite, o tempo de geração preliminar, o tempo de verificação pelo modelo-alvo, a posição da rejeição, a latência total, os tokens por segundo, a memória e as verificações de equivalência da saída. A consequência prática torna-se evidente quando várias fontes competem por um contexto limitado.

Relacione a carga de trabalho com a política de amostragem. Varie o comprimento das propostas e as definições de amostragem, mantendo fixos o modelo-alvo e a distribuição solicitada, e compare depois com a descodificação autoregressiva normal. Esta dependência deve permanecer explícita na interface final.

Ative a especulação apenas quando o progresso aceite por milissegundo total melhorar. Se a aceitação parecer elevada, mas a latência não diminuir, otimize a sobrecarga das propostas e da verificação, em vez de tratar a proporção como a métrica final de desempenho. O resultado deve, portanto, ser verificado com base nos dados originais.