Último Blog

Uma janela deslizante limita a memória KV ativa ao manter apenas um intervalo recente de tokens, trocando a atenção sobre todo o histórico por uma capacidade de inferência previsível.

O pré-preenchimento utiliza trabalho matricial paralelo em muitos tokens de entrada, enquanto a descodificação avança um token aceite de cada vez e lê repetidamente o estado do modelo.

A descodificação especulativa reduz os passos sequenciais do modelo-alvo ao gerar vários tokens futuros e verificá-los em conjunto, sem alterar os resultados exatos da descodificação.

A quantização introduz uma aproximação numérica; a qualidade depende da largura de bits, do método, dos dados de calibração, da escala do modelo e do fluxo de trabalho que está a ser testado.

A cache KV aumenta à medida que um modelo retém chaves e valores de atenção para mais tokens do prompt e da saída, em todas as camadas do transformador e nos pedidos ativos.

O agendamento do acelerador decide qual utilizador entra no modelo, partilha cada iteração, mantém o estado da cache ou aguarda por tarefas mais longas e prioritárias.

Os trabalhos de incorporação consomem acelerador, CPU, memória e armazenamento durante longos lotes, atrasando o pré-preenchimento do chat, a descodificação, a recuperação e a resposta do primeiro token.

Os ambientes de execução reservam blocos de GPU reutilizáveis após os pedidos para evitar alocações futuras lentas, pelo que a memória do processo pode permanecer elevada sem uma fuga ativa de tensores.