Último Blog

Os parâmetros do modelo permanecem fixos, enquanto o estado de atenção aumenta com o número de tokens, camadas, precisão, tamanho do lote e pedidos simultâneos de IA doméstica.

O processamento contínuo por lotes mantém o acelerador ocupado, mas a equidade depende da forma como o serviço é medido e dividido entre pedidos domésticos desiguais.

Uma janela deslizante limita a memória KV ativa ao manter apenas um intervalo recente de tokens, trocando a atenção sobre todo o histórico por uma capacidade de inferência previsível.

O pré-preenchimento utiliza trabalho matricial paralelo em muitos tokens de entrada, enquanto a descodificação avança um token aceite de cada vez e lê repetidamente o estado do modelo.

A descodificação especulativa reduz os passos sequenciais do modelo-alvo ao gerar vários tokens futuros e verificá-los em conjunto, sem alterar os resultados exatos da descodificação.

A quantização introduz uma aproximação numérica; a qualidade depende da largura de bits, do método, dos dados de calibração, da escala do modelo e do fluxo de trabalho que está a ser testado.

A cache KV aumenta à medida que um modelo retém chaves e valores de atenção para mais tokens do prompt e da saída, em todas as camadas do transformador e nos pedidos ativos.

O agendamento do acelerador decide qual utilizador entra no modelo, partilha cada iteração, mantém o estado da cache ou aguarda por tarefas mais longas e prioritárias.