Dernier blog

Une fenêtre glissante limite la mémoire KV active en ne conservant qu’une plage récente de jetons, au prix d’une attention sur l’historique complet contre une capacité d’inférence prévisible.

Le préremplissage exploite un traitement matriciel parallèle sur de nombreux jetons d’entrée, tandis que le décodage progresse d’un jeton accepté à la fois et relit répétitivement l’état du modèle.

Le décodage spéculatif réduit le nombre d’étapes séquentielles du modèle cible en générant plusieurs tokens futurs, puis en les vérifiant simultanément sans modifier les résultats exacts du décodage.

La quantification introduit une approximation numérique ; la qualité dépend de la largeur en bits, de la méthode, des données d’étalonnage, de la taille du modèle et du flux de travail testé.

Le cache KV augmente à mesure qu’un modèle conserve les clés et les valeurs d’attention pour davantage de tokens d’invite et de sortie, dans chaque couche du transformeur et pour chaque requête active.

La planification des accélérateurs détermine quel utilisateur accède au modèle, partage chaque itération, conserve l’état du cache ou attend derrière des tâches plus longues et prioritaires.

Les tâches d’indexation mobilisent l’accélérateur, le processeur, la mémoire et le stockage pendant de longues séquences, ce qui retarde le préremplissage du chat, le décodage, la récupération et la réponse au premier jeton.

Les environnements d’exécution réservent des blocs GPU réutilisables après les requêtes afin d’éviter des allocations lentes ultérieures. La mémoire du processus peut donc rester élevée sans fuite active de tenseurs.