GLM 5.3 vs Kimi K3 : lequel fonctionne le mieux en local ?

GLM-5.3-Flash et Kimi K3 sont tous deux des modèles à poids ouverts de taille comparable aux modèles de pointe, reposant sur des architectures parcimonieuses de mélange d’experts, des capacités multimodales et des fenêtres de contexte très longues. Sur le papier, ils semblent être des concurrents naturels. Pour un déploiement local, toutefois, la position dans les classements compte moins qu’une question plus pratique : quelle quantité de matériel est nécessaire pour stocker, charger et servir les poids publiés ?

La différence est considérable. GLM-5.3-Flash possède environ 320 milliards de paramètres au total, tout en activant environ 18 milliards de paramètres par jeton. Son point de contrôle FP8 natif pèse environ 306 Gio. Kimi K3 est bien plus grand, avec 2,8 billions de paramètres au total et environ 104 milliards de paramètres activés par jeton, ce qui place le modèle publié dans une catégorie totalement différente en matière de mémoire et d’infrastructure.

Aucun des deux modèles n’appartient à la même catégorie qu’un modèle de 7, 14 ou 30 milliards de paramètres pouvant être téléchargé et exécuté confortablement sur un ordinateur de bureau ordinaire. Mais si la question est de savoir quel modèle est le plus réaliste à exécuter sur du matériel que vous contrôlez personnellement, GLM-5.3-Flash est l’option la plus accessible.

Pourquoi les paramètres actifs ne permettent pas de déterminer ce qui tient en mémoire

L’erreur la plus facile à commettre dans cette comparaison consiste à regarder uniquement le nombre de paramètres activés.

GLM-5.3-Flash active environ 18 milliards de paramètres pour chaque jeton. Cela ne signifie pas qu’il a l’empreinte mémoire d’un modèle dense classique de 18 milliards de paramètres. Le routeur ne sélectionne qu’une partie du réseau d’experts pour les calculs, mais l’ensemble des experts doit rester disponible, car les jetons suivants peuvent activer des experts différents.

C’est pourquoi le modèle complet nécessite toujours environ 306 Gio pour ses poids FP8 natifs. La distinction entre 320 milliards de paramètres au total et 18 milliards de paramètres activés est l’un des points les plus importants à prendre en compte lors de la planification des besoins en matériel, RAM et VRAM pour GLM-5.3-Flash en local : l’activation parcimonieuse réduit les calculs par jeton, mais elle ne fait pas disparaître du stockage ou de la mémoire les experts restants.

Kimi K3 applique le même principe à une échelle bien supérieure. Il active environ 104 milliards de paramètres par jeton tout en conservant un modèle de 2,8 billions de paramètres. La puissance de calcul active est ainsi bien inférieure à celle du réseau complet, mais le système d’inférence doit toujours pouvoir accéder à l’ensemble des poids.

Par conséquent, calculer uniquement les 104 milliards de paramètres actifs et traiter Kimi K3 comme un modèle classique de 104 milliards de paramètres sous-estime fortement ses exigences de déploiement.

Quel modèle est le plus facile à installer en local ?

C’est ici que la comparaison devient déterminante.

GLM-5.3-Flash : difficile, mais l’expérimentation sur une station de travail reste possible

Le point de contrôle natif GLM-5.3-Flash FP8 occupe environ 306 Gio. Cela place déjà le modèle complet au-delà des PC, des Mac et des systèmes classiques équipés d’un seul GPU.

Cependant, une solution hybride CPU-GPU documentée change la définition du terme « local ». Au lieu de charger le modèle entier dans la mémoire du GPU, une partie des données des experts peut rester dans la mémoire système, tandis que les ressources GPU prises en charge accélèrent certaines étapes de l’inférence.

Cela ne fait pas de GLM-5.3-Flash un modèle ordinaire pour PC de jeu. Pour l’expérimentation, la cible de déploiement passe plutôt de « exclusivement un cluster de GPU d’entreprise » à « une station de travail spécialisée à grande capacité mémoire ». Un système de cette catégorie nécessite toujours une très grande capacité de RAM, une bande passante mémoire suffisante, des instructions processeur prises en charge, des GPU compatibles et suffisamment d’espace de stockage pour le point de contrôle et les fichiers d’exécution.

Kimi K3 : le déploiement local passe rapidement à l’échelle d’un cluster

Kimi K3 part d’une empreinte physique bien plus importante. Ses 2,8 billions de paramètres au total font que les poids publiés occupent environ 1,5 To avant même de prendre en compte la surcharge d’exécution, le cache, les tampons de communication et les autres données nécessaires au service.

Cela transforme le problème, qui n’est plus « quelle quantité de RAM une station de travail peut-elle accueillir ? », mais « quel type de topologie d’accélérateurs et de réseau mémoire peut transférer efficacement ce modèle ? » Les limites du déploiement local de Kimi K3 dépendent donc non seulement de la capacité brute, mais aussi du nombre d’accélérateurs, du parallélisme des experts, des communications entre nœuds et de la bande passante mémoire.

Il est techniquement possible d’expérimenter un déchargement intensif vers la RAM, un SSD ou un stockage réseau, mais il existe une différence majeure entre charger un point de contrôle et l’exécuter de manière interactive. Dès qu’il faut transférer régulièrement de grands poids d’experts via des supports de stockage et des interconnexions plus lents, la bande passante peut devenir le goulot d’étranglement bien avant que la capacité du disque ne soit épuisée.

GLM-5.3-Flash peut-il s’exécuter sur des GPU grand public ?

Pas exactement.

Une seule RTX 4090 ou RTX 5090 ne peut pas contenir l’intégralité du point de contrôle GLM-5.3-Flash dans sa VRAM. Toute solution locale avec un seul GPU repose sur une architecture hybride dans laquelle une très grande partie du modèle reste en mémoire système.

La conclusion correcte n’est donc pas :

« GLM-5.3-Flash fonctionne sur un GPU de jeu vidéo. »

C’est :

« GLM-5.3-Flash peut utiliser un GPU grand public compatible dans le cadre d’un système spécialisé d’inférence hybride à grande capacité mémoire. »

Cette distinction est importante, car le GPU ne représente qu’une partie du budget matériel. Les capacités du processeur et de la RAM, la bande passante de la RAM et du PCIe, la longueur du contexte et la configuration de l’environnement d’exécution peuvent toutes déterminer si le modèle est simplement chargeable ou réellement utilisable.

Kimi K3 est encore plus éloigné d’un déploiement classique sur GPU grand public. Le modèle complet est si volumineux que l’ajout d’un ou deux GPU haut de gamme ne change pas sensiblement le problème global de mémoire. À pleine échelle, il s’intègre plus naturellement à des environnements d’exécution d’entreprise dotés de plusieurs accélérateurs ou distribués.

Quelle capacité de stockage faut-il prévoir ?

Le stockage à lui seul montre déjà à quel point ces deux modèles sont différents.

Pour GLM-5.3-Flash, environ 306 Gio correspondent uniquement à l’empreinte des poids natifs au format FP8. Un système opérationnel a également besoin d’espace pour les téléchargements du modèle, les images de conteneurs, les caches de paquets, les journaux, les fichiers temporaires et éventuellement d’autres points de contrôle. Réserver exactement la taille du point de contrôle ne suffit donc pas.

Kimi K3 nécessite une marge bien plus importante. Une fois que le modèle distribué occupe environ 1,5 To, plusieurs versions du modèle, les environnements d’exécution, les téléchargements temporaires et les caches peuvent rapidement porter la consommation totale du stockage à plusieurs téraoctets.

Un NAS peut être utile pour stocker les poids de l’un ou l’autre modèle, les jeux de données, les corpus RAG, les journaux et les sauvegardes. Mais stocker un modèle ne revient pas à le servir. Les performances d’inférence dépendent de la vitesse à laquelle les poids nécessaires peuvent être transférés vers la mémoire du processeur ou de l’accélérateur pendant la génération.

Qu’en est-il de la fenêtre de contexte d’un million de jetons ?

Les deux modèles prennent en charge des longueurs de contexte atteignant environ un million de jetons, mais ce chiffre doit être considéré comme une capacité maximale plutôt que comme une valeur par défaut raisonnable pour un déploiement local.

Un contexte plus long augmente le travail de préremplissage, l’état d’attention, l’utilisation du cache et la pression sur la mémoire. La concurrence amplifie le problème, car le serveur doit conserver l’état de plusieurs requêtes actives simultanément. Les invites multimodales ajoutent une couche de ressources via l’encodage des images ou des vidéos.

Un déploiement local pratique devrait donc commencer avec un contexte beaucoup plus court, une taille de lot de un, une faible concurrence et des requêtes texte uniquement. Une fois la consommation mémoire et la latence comprises, la longueur du contexte et les entrées multimodales peuvent être augmentées progressivement.

Lequel est le meilleur pour un home lab ?

Si un « home lab » désigne un serveur standard doté de 32 Go, 64 Go, 128 Go, voire 256 Go de RAM, ainsi que d’un seul GPU grand public, la réponse est simple : aucun des deux modèles complets ne convient naturellement.

Un serveur domestique est plus utile comme infrastructure périphérique de l’IA. Il peut stocker des documents privés et des fichiers de modèles, héberger une base de données vectorielle, gérer un index RAG, exécuter une interface applicative, prendre en charge l’authentification, gérer les données utilisateur, exécuter des modèles locaux plus petits et acheminer l’inférence plus lourde vers une autre machine ou une API.

Cette séparation est souvent préférable à l’idée de faire fonctionner chaque composant de la pile d’IA sur une seule machine. Le stockage, la recherche, les applications, l’orchestration et l’inférence ont des besoins matériels différents, et rien ne les oblige à fonctionner tous sur la même machine.

Pour les utilisateurs capables de construire une station de travail spécialisée dotée de centaines de gigaoctets de RAM et d’un matériel CPU-GPU pris en charge, GLM-5.3-Flash devient nettement plus réaliste. Kimi K3 reste beaucoup plus proche du domaine des centres de données à pleine échelle.

GLM 5.3 ou Kimi K3 : lequel est le plus rapide en local ?

Il n’existe pas de nombre unique de jetons par seconde qui réponde équitablement à cette question.

Les performances dépendent de l’emplacement des poids, de l’accélérateur utilisé, de la bande passante mémoire, de la longueur du contexte, de la concurrence, de l’environnement d’exécution, de la quantification et de la quantité de données à transférer entre le CPU, le GPU, le stockage ou plusieurs nœuds.

Un cluster Kimi K3 entièrement résident en mémoire GPU pourrait surpasser une station de travail GLM-5.3-Flash fortement déportée. Cela ne rendrait pas Kimi K3 plus facile à exécuter en local ; cela signifierait simplement qu’un matériel bien plus coûteux lui a été attribué.

Selon la contrainte plus pertinente de la difficulté pour un particulier ou un petit laboratoire d’auto-héberger le modèle complet disponible, GLM-5.3-Flash est mieux positionné pour un déploiement local, car son point de contrôle est considérablement plus petit et une voie hybride utilisant une grande quantité de RAM est documentée.

GLM 5.3 ou Kimi K3 : lequel choisir ?

Choisissez GLM-5.3-Flash si votre priorité est d’expérimenter avec un modèle ouvert de pointe sur du matériel que vous contrôlez personnellement et si vous êtes prêt à construire un système spécialisé à mémoire élevée. Son point de contrôle FP8 d’environ 306 Gio reste gigantesque, mais il se prête bien davantage à l’expérimentation sur une station de travail que Kimi K3.

Choisissez Kimi K3 si vous avez accès à une infrastructure d’accélérateurs d’entreprise et souhaitez travailler avec son architecture bien plus grande de 2,8 T de paramètres. À pleine échelle, ses exigences en matière de mémoire et de topologie le destinent beaucoup plus naturellement à un déploiement multi-GPU ou distribué.

Pour les utilisateurs ordinaires de l’IA en local, aucun des deux modèles ne devrait être le choix par défaut. Un modèle quantifié plus petit offrira généralement un meilleur équilibre entre latence, consommation électrique, utilisation de la mémoire, fiabilité et coût.

FAQ

GLM-5.3-Flash peut-il fonctionner sur un seul RTX 4090 ou RTX 5090 ?

Pas entièrement dans la mémoire du GPU. Le checkpoint FP8 complet est bien plus volumineux que la VRAM d’un seul GPU grand public. Un déploiement hybride peut utiliser un GPU pris en charge avec un très grand pool de mémoire système, mais les performances dépendent fortement des capacités du CPU, de la bande passante de la RAM, de la bande passante PCIe, de la longueur du contexte et de la configuration d’exécution.

Kimi K3 peut-il fonctionner sur un seul GPU grand public ?

Pas en pratique, si l’on considère le modèle complet publié. Ses exigences de déploiement, de l’ordre de plusieurs téraoctets, dépassent largement la capacité mémoire d’un seul GPU grand public, et son exploitation à pleine échelle correspond beaucoup plus naturellement à du matériel d’entreprise doté de plusieurs accélérateurs ou à une infrastructure distribuée.

GLM-5.3-Flash est-il vraiment un modèle de 18 milliards de paramètres ?

Non. Environ 18 milliards de paramètres sont activés par jeton, mais le modèle complet contient environ 320 milliards de paramètres. L’activation parcimonieuse réduit le calcul par jeton ; elle ne réduit pas l’ensemble complet des poids à 18 milliards de paramètres.

Kimi K3 est-il vraiment un modèle de 104 milliards de paramètres ?

Non. Environ 104 milliards de paramètres sont activés par jeton, mais le modèle complet contient 2,8 billions de paramètres. Les experts restants font toujours partie du checkpoint et doivent rester accessibles au système d’inférence.

Quel modèle nécessite le moins de mémoire ?

GLM-5.3-Flash, de loin. Son checkpoint FP8 natif fait environ 306 Gio, tandis que Kimi K3 appartient à la catégorie des modèles d’environ 1,5 To de poids. Les deux nécessitent une capacité supplémentaire pour l’état d’exécution, le cache, les activations et la marge de fonctionnement.

Quel modèle est le plus réaliste pour l’IA locale ?

GLM-5.3-Flash. Il reste très au-delà des capacités du matériel informatique grand public, mais son checkpoint plus petit et sa voie de déploiement CPU-GPU documentée le rendent nettement plus accessible pour l’auto-hébergement avancé que Kimi K3.

Conclusion

Si « fonctionne localement » signifie simplement que les poids publiés peuvent techniquement être déployés sur du matériel que vous contrôlez, GLM-5.3-Flash et Kimi K3 sont tous deux admissibles.

S’il s’agit de créer un système auto-hébergé qu’un particulier ou un petit laboratoire pourrait réellement exploiter, la différence est beaucoup plus nette.

GLM-5.3-Flash est le meilleur modèle local.

Ses 320 milliards de paramètres au total et son checkpoint FP8 natif d’environ 306 Gio nécessitent toujours du matériel spécialisé, mais ils permettent d’envisager des expérimentations sur station de travail dotée d’une grande capacité mémoire.

Kimi K3 est nettement plus grand. Ses 2,8 billions de paramètres au total et sa taille de poids d’environ 1,5 To le font davantage considérer comme un modèle de cluster à poids ouverts que comme un LLM local conventionnel.

La hiérarchie pratique est donc simple : utilisez GLM-5.3-Flash pour les expérimentations spécialisées sur station de travail, envisagez l’un ou l’autre modèle lorsqu’une infrastructure d’accélérateurs d’entreprise est disponible, et choisissez un modèle plus petit si la cible est un ordinateur de bureau ou un serveur domestique ordinaire.