Dernier blog

Les paramètres du modèle restent fixes, tandis que l’état d’attention augmente avec le nombre de jetons, de couches, la précision, la taille des lots et le nombre de requêtes d’IA domestique simultanées.

Le traitement par lots continu maintient l’accélérateur occupé, mais l’équité dépend de la manière dont le service est mesuré et réparti entre des demandes domestiques inégales.

Une fenêtre glissante limite la mémoire KV active en ne conservant qu’une plage récente de jetons, au prix d’une attention sur l’historique complet contre une capacité d’inférence prévisible.

Le préremplissage exploite un traitement matriciel parallèle sur de nombreux jetons d’entrée, tandis que le décodage progresse d’un jeton accepté à la fois et relit répétitivement l’état du modèle.

Le décodage spéculatif réduit le nombre d’étapes séquentielles du modèle cible en générant plusieurs tokens futurs, puis en les vérifiant simultanément sans modifier les résultats exacts du décodage.

La quantification introduit une approximation numérique ; la qualité dépend de la largeur en bits, de la méthode, des données d’étalonnage, de la taille du modèle et du flux de travail testé.

Le cache KV augmente à mesure qu’un modèle conserve les clés et les valeurs d’attention pour davantage de tokens d’invite et de sortie, dans chaque couche du transformeur et pour chaque requête active.

La planification des accélérateurs détermine quel utilisateur accède au modèle, partage chaque itération, conserve l’état du cache ou attend derrière des tâches plus longues et prioritaires.