Quelle quantité de mémoire GPU est nécessaire pour effectuer une recherche vision-langage sur un NAS domestique ?
La recherche vision-langage peut commencer autour de 8 à 12 Go de VRAM, mais la taille du modèle, la quantification, les tokens d’image, la longueur du contexte et la concurrence déterminent le seuil réellement fiable.
Un modèle quantifié compact de classe 7B peut être chargé sur un GPU de 8 Go, mais échouer lorsque plusieurs images haute résolution et un long historique de conversation sont traités simultanément. La recherche peut également utiliser un encodeur d’image et un reranker distincts. La capacité doit inclure les allocations d’exécution de pointe, et pas seulement la taille du fichier du modèle affichée sur le disque pendant le type de requêtes le plus exigeant attendu.
Les poids définissent le seuil minimal, pas le pic
La mémoire théorique des poids correspond au nombre de paramètres multiplié par le nombre de bits par paramètre. Sept milliards de paramètres à quatre bits représentent environ 3,5 Go avant l’ajout des facteurs d’échelle, des métadonnées, des tampons du framework et des éventuelles couches non quantifiées. Un encodeur d’image peut être séparé ou intégré au modèle.
Une explication pratique des composants de la mémoire GPU distingue les poids du modèle, le cache KV, les activations et la surcharge d’exécution. La taille du fichier sous-estime donc à elle seule la mémoire nécessaire à l’inférence.
La quantification réduit la présence des poids en mémoire, mais ne diminue pas toutes les allocations dans les mêmes proportions. Les projections visuelles, les tampons temporaires d’attention et certains noyaux peuvent rester en précision 16 bits. Un modèle qui se charge tout juste ne laisse aucune marge pour les requêtes d’image réelles.
Les images deviennent des tokens et un état d’exécution
Les encodeurs visuels divisent les images en patches ou les rééchantillonnent, puis transmettent les tokens visuels au modèle de langage. Un plus grand nombre d’images, une résolution maximale plus élevée ou un découpage dynamique augmentent le nombre de tokens. Ces tokens accroissent le travail d’attention et, lors des étapes autorégressives, la demande en cache KV.
Les recherches sur le réglage des instructions visuelles montrent comment les images sont reliées aux modèles de langage par des représentations visuelles apprises. L’architecture et le prétraitement déterminent le nombre de caractéristiques visuelles intégrées au contexte.
Le traitement par lots de plusieurs recherches multiplie l’état actif des images et du texte, même lorsque les poids restent partagés. C’est pourquoi une capacité de 8 à 12 Go convient à une recherche compacte pour un seul utilisateur, tandis que 16 à 24 Go offrent davantage de marge pour des modèles plus grands, plusieurs images ou des requêtes simultanées.
Quand les recommandations de VRAM cessent de s’appliquer
Les systèmes à mémoire unifiée, le déport vers le CPU, les encodeurs répartis et la recherche d’embeddings stockés sur disque modifient la contrainte. Le déport peut permettre d’exécuter un modèle avec moins de VRAM, mais augmente la latence. Les embeddings d’images précalculés nécessitent bien moins de traitement visuel à l’exécution que la génération de descriptions pour chaque requête.
Une discussion sur l’allocation du cache KV montre comment la longueur du contexte et l’allocation du cache KV peuvent imposer des limites plus strictes, même lorsque les poids tiennent en mémoire. Les entrées multimodales resserrent cette même enveloppe.
Ces fourchettes ne s’appliquent pas non plus à l’entraînement ou à l’ajustement fin, qui nécessitent les gradients et l’état de l’optimiseur. Elles décrivent uniquement l’inférence. Une VRAM plus importante ne garantit pas une recherche précise si les embeddings d’images, l’OCR, la fusion des métadonnées ou l’évaluation sont de qualité insuffisante.
Vérifiez la VRAM de pointe avec des requêtes d’image représentatives
Chargez le modèle quantifié, l’encodeur et le reranker prévus, puis exécutez des requêtes représentatives avec une image, plusieurs images, des images haute résolution et un long historique. Répétez les tests avec la concurrence prévue en enregistrant la VRAM allouée et réservée, les erreurs de mémoire insuffisante, la latence avant le premier token et le temps de traitement des images.
Testez avec un jeu de données de bande passante du pipeline d’images reflétant les images et captures d’écran de créateurs, plutôt qu’avec des entrées synthétiques vierges. Séparez les chemins utilisant des encodages précalculés de ceux qui les génèrent à la volée.
Sélectionnez une capacité de VRAM dont la requête valide la plus exigeante reste inférieure à environ 80 à 85 % de la capacité. Si seul l’encodage des images provoque des pics, déportez cet encodeur ou précalculez les embeddings. Si le cache KV domine, réduisez la longueur du contexte ou la concurrence avant de conclure qu’un modèle vision plus grand est nécessaire.
Produits recommandés
Centre Tech & IA
Plus à lire
Comment mesurer la qualité de la récupération RAG locale et interpréter le rappel, la précision et la couverture des citations
Créez un jeu de test RAG local, calculez les principales métriques de récupération, interprétez leurs compromis et vérifiez si les affirmations des réponses sont...
Pourquoi le calcul des fonctionnalités de la maison intelligente devient-il plus important lorsque le nombre de capteurs augmente à fréquence d’échantillonnage constante ?
Suivez les calculs par capteur et intercapteurs à mesure que le nombre d’appareils augmente, identifiez les coûts de fusion non linéaires et évaluez les...
Pourquoi le coût de l’évaluation du RAG devient-il plus important à mesure que la bibliothèque de documents s’agrandit, pour un même volume de requêtes ?
Comprenez pourquoi l’augmentation du corpus accroît l’effort d’évaluation du RAG sans augmenter le nombre de requêtes des utilisateurs, et comment les tests stratifiés maintiennent...
