Exigences matérielles pour un NAS IA : processeur, RAM, GPU, stockage et réseau

Réponse rapide

Les exigences matérielles d’un AI NAS dépendent de la charge de travail, pas seulement du label AI NAS. Un système qui effectue de l’OCR en arrière-plan ou de l’indexation photo a un profil matériel très différent d’un système exécutant des LLM locaux, une détection caméra en temps réel, un RAG à long contexte ou une inférence multi-utilisateurs.

Pour de nombreuses charges de travail IA axées sur le stockage, une configuration de départ pratique est :

• Un CPU moderne multi-cœurs
• 16 Go de RAM système
• Stockage HDD pour les fichiers sources protégés et la capacité en masse
• Un niveau SSD ou NVMe pour les applications, bases de données, vignettes, index et modèles
• Réseau 1 GbE ou 2,5 GbE, selon la taille des fichiers et le nombre d’utilisateurs
• Accélération iGPU, NPU, TPU ou GPU optionnelle lorsque le logiciel cible la supporte

Les systèmes plus exigeants peuvent nécessiter 32 Go à 64 Go ou plus de RAM, une capacité NVMe plus grande, un GPU dédié ou une mémoire unifiée haute capacité, un refroidissement renforcé et un réseau 10 GbE lorsque le calcul IA s’exécute sur un serveur séparé.

Il n’existe pas de spécification minimale universelle pour chaque AI NAS. La configuration correcte dépend de :

• La tâche d’IA
• La taille de la bibliothèque de fichiers
• Si le traitement est en temps réel ou en arrière-plan
• Le modèle et la taille du contexte
• Le nombre d’utilisateurs simultanés
• Si l’IA s’exécute directement sur le NAS ou sur une autre machine locale
• Si le logiciel peut utiliser l’accélérateur sélectionné

La règle la plus importante est simple : commencez par la charge de travail, puis dimensionnez le CPU, la mémoire, l’accélération, le stockage, le réseau et le refroidissement en fonction de cette charge.

De quoi dépendent réellement les exigences d’un serveur IA ?

Un AI NAS effectue deux tâches différentes en même temps. Il doit rester un système de stockage fiable tout en traitant les données qu’il contient.

Un NAS traditionnel peut principalement gérer :

• Partage de fichiers
• Sauvegardes d’ordinateurs et de téléphones
• Instantanés et historique des versions
• Stockage et diffusion de médias
• Permissions utilisateur
• Accès à distance

Un système conscient de l’IA peut ajouter :

• OCR et analyse de documents
• Reconnaissance photo
• Détection d'objets
• Transcription vocale
• Génération d'embeddings
• Recherche vectorielle et hybride
• RAG privé
• Inférence locale de LLM

La différence entre ces deux rôles est expliquée plus en détail dans Matériel AI NAS comparé aux exigences des NAS traditionnels .

Type de charge de travail

Différentes tâches d’IA sollicitent différentes parties du système.

Traitement en arrière-plan vs temps réel

Les charges de travail en arrière-plan peuvent tolérer un matériel plus lent car elles peuvent s'exécuter la nuit ou pendant les périodes d'activité de stockage faible.

Exemples incluent :

• Analyse d'une nouvelle bibliothèque photo
• Génération de vignettes
• Exécution de l'OCR sur les scans entrants
• Création d'incrustations
• Mise à jour des index de documents

Les charges de travail en temps réel nécessitent une latence plus faible et des performances plus soutenues.

Exemples incluent :

• Détection d'objets par caméra de sécurité
• Chat LLM local interactif
• Transcription en direct
• Plusieurs utilisateurs RAG simultanés
• Inférence multimodale en temps réel

Un NAS peut exécuter un indexage en arrière-plan avec succès sur un matériel modeste tout en offrant une expérience médiocre pour l'inférence LLM interactive. L'urgence du traitement est donc aussi importante que la tâche elle-même.

Taille du modèle et de la bibliothèque

La demande matérielle croît selon deux dimensions indépendantes :

1. La taille du modèle IA
2. La taille de la bibliothèque de données indexée

Un petit modèle peut toujours générer une charge lourde lorsqu'il doit traiter des millions d'images, des centaines de milliers de documents ou des années de vidéo.

Un grand modèle peut créer une forte pression mémoire même lorsque la collection de documents est petite.

Prévoyez les deux :

• Fichiers modèles
• Mémoire de contexte et d'exécution
• Bases de données d'applications
• Vignettes et aperçus
• Résultats OCR
• Incrustations et index vectoriels
• Fichiers de traitement temporaires
• Croissance de la bibliothèque de données originale

Nombre d'utilisateurs et requêtes parallèles

Un système qui sert une personne de manière intermittente a des exigences différentes d'un service partagé traitant plusieurs requêtes simultanées.

La documentation officielle Ollama sur la mémoire et la concurrence explique que le chargement simultané des modèles dépend de la RAM système ou de la VRAM disponible. Elle note aussi que les requêtes parallèles augmentent l'allocation effective du contexte et que la mémoire requise évolue avec le nombre de requêtes parallèles et la longueur du contexte.

Cela signifie que dimensionner un modèle local uniquement en fonction de sa taille de téléchargement est incomplet. Le système a également besoin de mémoire pour :

• Surcharge d'exécution
• Contexte et cache KV
• Requêtes parallèles
• Modèles supplémentaires chargés
• Services NAS et conteneurs

IA sur le NAS vs Calcul Séparé

Exécuter l'IA directement sur le NAS réduit les déplacements de données et peut simplifier les flux de travail adjacents au stockage. Séparer le calcul IA offre aux utilisateurs plus de liberté pour mettre à niveau indépendamment les GPU, la mémoire, le refroidissement et les environnements d'exécution des modèles.

Exécutez la charge de travail directement sur le NAS lorsqu'elle est :

• Étroitement lié aux fichiers stockés
• Léger ou modéré
• Principalement un traitement en arrière-plan
• Pris en charge par le système d'exploitation et les applications NAS
• Peu susceptible de perturber les services de sauvegarde et de fichiers

Envisagez un serveur IA séparé lorsque la charge de travail est :

• Intensif en GPU
• Temps réel
• Multi-utilisateur
• Fréquemment mis à jour ou expérimental
• Trop chaud, bruyant ou gourmand en énergie pour le NAS

Trois niveaux matériels pratiques pour l'IA NAS

Les niveaux suivants sont des profils de planification plutôt que des minimums universels des fournisseurs. Les exigences réelles varient selon l’application, le modèle, la longueur du contexte, la quantification, le volume de données et la concurrence des utilisateurs.

Niveau 1 : IA axée sur le stockage et indexation en arrière-plan

Ce niveau est approprié lorsque le stockage reste la responsabilité principale et que l’IA fonctionne comme une amélioration en arrière-plan.

Les charges de travail typiques incluent :

• OCR pour documents scannés
• Classification documentaire basique
• Extraction de métadonnées
• Étiquetage photo léger
• Petites tâches d’intégration
• Requêtes locales occasionnelles

Un GPU dédié peut ne pas être nécessaire. Le traitement CPU peut être acceptable si les utilisateurs acceptent d’attendre les tâches en arrière-plan.

Les priorités importantes sont :

• Assez de RAM pour les applications et bases de données
• Un niveau SSD ou NVMe pour les données actives des applications
• Capacité HDD fiable pour les fichiers sources
• Comportement stable du stockage et des sauvegardes

Niveau 2 : IA locale intégrée et RAG privé

Ce niveau convient aux utilisateurs exécutant plusieurs applications IA sur le même système.

Exemples incluent :

• Reconnaissance photo et recherche sémantique de médias
• Recherche privée de documents
• RAG local
• Bases de données vectorielles
• Plusieurs applications Docker
• LLM locaux légers

À ce niveau, 32 Go de RAM offrent plus d’espace pour les bases de données, index, conteneurs d’applications, cache, services de fichiers et génération locale.

Les différences matérielles entre l’IA locale pour photos et les charges RAG documentaires locales sont importantes car l’indexation visuelle et la récupération privée de documents imposent des exigences différentes en CPU, mémoire, stockage et accélération.

Niveau 3 : Inférence lourde et IA multi-utilisateurs

Ce niveau est plus proche d’un serveur IA local dédié que d’un NAS basse consommation classique.

Les charges de travail typiques incluent :

• Modèles linguistiques locaux plus volumineux
• Analyse de documents à long contexte
• Multiples utilisateurs simultanés
• Détection multi-caméras en temps réel
• Modèles multimodaux
• Génération d’images
• Plusieurs modèles chargés simultanément

Les utilisateurs doivent prévoir :

• Plus de RAM système
• VRAM suffisante ou mémoire unifiée
• Refroidissement puissant
• Consommation électrique plus élevée
• Stockage NVMe rapide
• Plus de séparation entre le calcul IA et les services NAS principaux

Une comparaison entre un serveur d’occasion, mini PC et NAS pour charges IA locales peut aider à déterminer si un boîtier axé sur le stockage reste la bonne plateforme de calcul.

De combien de mémoire un NAS IA a-t-il besoin ?

La mémoire est souvent la première limite rencontrée par les utilisateurs car les charges IA NAS consomment plusieurs pools de mémoire différents.

La formule de planification la plus utile est :

Besoin pratique en mémoire = poids du modèle + surcharge du runtime + cache de contexte + requêtes parallèles + bases de données et index + marge NAS et conteneurs

La RAM système, la VRAM et la mémoire unifiée sont différentes

La RAM système est nécessaire même lorsque l’inférence s’exécute sur GPU. Le système NAS, les services de fichiers, bases de données, conteneurs, index et applications en arrière-plan continuent d’utiliser la mémoire système.

La VRAM détermine la part d’un modèle pouvant rester sur le GPU et l’espace disponible pour le contexte et les requêtes parallèles.

La mémoire unifiée peut réduire la division rigide entre la RAM système et la VRAM, mais elle reste limitée par la capacité totale, la bande passante, le support logiciel et le comportement thermique.

Pourquoi la taille du modèle n’est que le point de départ

Un fichier modèle qui semble tenir dans la mémoire disponible peut néanmoins nécessiter une marge supplémentaire pour :

• Bibliothèques runtime
• Tampons temporaires
• Contexte et cache KV
• Traitement des invites
• Requêtes parallèles
• Autres modèles chargés
• Le système d’exploitation et les applications

Ollama peut indiquer si un modèle est entièrement chargé sur GPU, entièrement en mémoire système, ou réparti entre CPU et GPU. Sa documentation explique également que plusieurs modèles peuvent rester chargés uniquement si la mémoire disponible est suffisante. Comportement de chargement et mémoire des modèles Ollama fournit les détails pertinents du runtime.

Longueur du contexte, cache KV et simultanéité

Des fenêtres de contexte plus longues augmentent les besoins en mémoire car le runtime doit conserver plus d’état d’attention.

Les utilisateurs parallèles augmentent à nouveau la demande. Un serveur traitant plusieurs requêtes simultanées peut allouer beaucoup plus de mémoire de contexte qu’un système mono-utilisateur.

Lors de la planification du matériel LLM local, testez :

• La longueur réelle du contexte requise
• Le nombre d'utilisateurs simultanés
• Le nombre de modèles maintenus chargés
• Si l'inférence GPU nécessite une résidence complète en VRAM
• Si la quantification du cache KV est prise en charge

Ce que 16 Go, 32 Go et 64 Go+ peuvent réellement supporter

Ces plages ne sont pas des garanties. Une application bien optimisée peut utiliser moins, tandis qu'une grande bibliothèque, un contexte long, plusieurs services ou plusieurs utilisateurs peuvent en nécessiter plus.

Quantification et déchargement CPU–GPU

La quantification réduit les besoins en mémoire du modèle en stockant les poids à une précision inférieure. Le compromis peut inclure une précision réduite ou des changements de performance, selon le modèle et le format de quantification.

L'inférence hybride CPU–GPU llama.cpp peut partiellement accélérer des modèles plus grands que la capacité totale de VRAM en répartissant le travail entre CPU et GPU.

Cela élargit la compatibilité mais ne doit pas être considéré comme équivalent à charger le modèle complet dans la mémoire rapide du GPU. Le déchargement peut réduire la vitesse car les données doivent traverser les limites de mémoire et de bus.

Quel CPU un AI NAS nécessite-t-il ?

Responsabilités du CPU au-delà de l'inférence AI

Le CPU coordonne le système complet même lorsqu'un GPU, NPU, iGPU ou TPU exécute une partie de la charge d'inférence.

Le CPU peut gérer :

• Services de fichiers NAS
• Chiffrement
• Orchestration de conteneurs
• Opérations sur bases de données
• Analyse de documents
• Prétraitement d'images
• Décodage multimédia
• Extraction de métadonnées
• Trafic réseau
• Alimentation des accélérateurs en données

Un accélérateur puissant peut rester sous-utilisé lorsque le CPU ne peut pas préparer, décoder ou fournir les données assez rapidement.

Charges de travail mixtes NAS et conteneurs

Les systèmes AI NAS exécutent souvent plusieurs services simultanément :

• Partage de fichiers SMB ou NFS
• Tâches de sauvegarde
• Serveurs multimédias
• Applications photo
• Bases de données documentaires
• Recherche vectorielle
• Durées d'exécution des modèles

Plusieurs cœurs et threads offrent plus de marge pour la planification de ces charges de travail mixtes. Le nombre de cœurs seul ne suffit pas cependant. L'architecture, le support des instructions, le comportement de l'horloge, les moteurs vidéo, les limites de puissance et la compatibilité logicielle comptent aussi.

Avant de choisir le matériel, alignez le système d'exploitation avec le mélange prévu de stockage et d'applications. Les exigences du système d'exploitation pour serveur domestique pour les applications NAS et Docker expliquent pourquoi les systèmes axés sur le stockage, les applications ou la virtualisation priorisent différemment le matériel.

Quand l'IA CPU uniquement est pratique

Le traitement CPU uniquement peut être pratique lorsque :

• La charge de travail s'exécute en arrière-plan.
• La bibliothèque de fichiers est modeste.
• Le modèle est petit ou fortement quantifié.
• La latence n'est pas critique.
• Un seul utilisateur effectue des requêtes occasionnelles.

Les configurations CPU uniquement deviennent moins attractives lorsque les utilisateurs attendent :

• Réponses rapides et interactives de LLM
• Plusieurs utilisateurs simultanés
• Analyse vidéo en temps réel
• Grands modèles multimodaux
• Génération d'embeddings à grand volume

Un NAS IA a-t-il besoin d'un NPU, TPU, iGPU ou GPU ?

Un NAS IA n'a pas automatiquement besoin d'un GPU dédié. Il a besoin d'un accélérateur uniquement lorsque celui-ci améliore l'application cible.

Le décodage vidéo matériel et la détection IA sont différents

Les charges de travail des caméras démontrent pourquoi une seule spécification d'accélérateur ne peut décrire le système complet.

Un pipeline IA pour caméra peut inclure :

1. Réception du flux réseau
2. Décodage de la vidéo
3. Exécution de la détection de mouvement
4. Préparation des images
5. Exécution de la détection d'objets
6. Écriture des enregistrements et des métadonnées d'événements

Le décodage vidéo peut s'exécuter sur un iGPU ou un moteur média, tandis que la détection d'objets s'exécute sur un autre détecteur.

La matrice de support matériel et détecteur Frigate documente plusieurs voies d'accélération et explique qu'un détecteur pris en charge peut réduire la latence de détection et la charge CPU.

Pourquoi le support logiciel compte plus que les TOPS

TOPS est une métrique théorique de calcul. Elle ne prouve pas que les applications de l'utilisateur peuvent utiliser le matériel.

Avant d'acheter un accélérateur, vérifiez :

• Support du système d'exploitation
• Disponibilité des pilotes
• Passage de conteneur
• Compatibilité à l'exécution
• Formats de modèles pris en charge
• Intégration au niveau de l'application
• Performance documentée pour la charge de travail réelle

Le meilleur choix matériel est souvent l'accélérateur avec un support applicatif mature, pas celui avec le plus grand nombre annoncé.

Comment un NAS IA doit-il répartir le stockage HDD et NVMe ?

Disques durs pour les données sources et la capacité

Les disques durs restent appropriés pour :

• Bibliothèques photo et vidéo
• Archives de documents
• Enregistrements de caméras de sécurité
• Sauvegardes
• Grands ensembles de données
• Fichiers sources à long terme

Ils offrent un coût par téraoctet plus bas et permettent à un NAS IA de conserver de grandes archives privées sans nécessiter un pool de stockage tout flash.

NVMe pour applications, modèles, bases de données et index

Les données actives des applications IA bénéficient généralement d'une latence plus faible.

Le stockage NVMe est utile pour :

• Volumes de conteneurs
• Bases de données d'applications
• Modèles IA
• Vignettes
• Résultats OCR
• Bases de données d'embeddings
• Index vectoriels
• Fichiers de traitement temporaires
• Cache

Exécuter tous les services actifs directement depuis un ensemble de disques mécaniques peut ralentir le système même si les ressources CPU et GPU sont disponibles.

Surcharge de stockage due aux applications IA

Les applications conscientes de l'IA créent plus de données que la seule bibliothèque de fichiers d'origine.

Planifiez la capacité pour :

• Images d'aperçu
• Vignettes
• Données faciales
• Texte OCR
• Transcriptions
• Index
• Embeddings
• Fichiers modèles
• Journaux d'application

Déterminez quelles données dérivées doivent être sauvegardées et lesquelles peuvent être régénérées à partir des fichiers sources protégés.

Quelle doit être la vitesse du réseau ?

La vitesse réseau n'accélère pas directement un modèle s'exécutant à l'intérieur du NAS. Elle affecte la rapidité avec laquelle les fichiers sources, ensembles de données, modèles et résultats circulent entre le stockage, les utilisateurs et le calcul externe.

Quand 1GbE suffit

1GbE peut rester suffisant lorsque :

• Le traitement IA s'exécute directement sur le NAS.
• La plupart des tâches s'exécutent en arrière-plan.
• Un ou deux utilisateurs seulement accèdent au système.
• Les gros fichiers sources ne sont pas déplacés fréquemment.

Quand 2.5GbE est une mise à niveau utile

2.5GbE offre plus de marge pour :

• Importations massives de photos
• Sauvegardes locales plus rapides
• Plusieurs utilisateurs actifs
• Gros fichiers médias
• Déplacement de fichiers modèles

C'est un niveau intermédiaire utile, mais il ne doit pas être considéré comme un minimum universel pour chaque NAS IA.

Quand 10GbE est important pour le calcul IA externe

10GbE devient plus pertinent lorsque le NAS fournit des données à une autre machine de manière répétée.

Exemples incluent :

• Un serveur GPU lisant des documents RAG privés
• Une station de travail traitant une vidéo stockée sur le NAS
• Plusieurs utilisateurs éditant de gros fichiers médias
• Sauvegardes haute vitesse vers un autre serveur local
• Jeux de données partagés avec support NVMe

Exigences matérielles selon la charge de travail IA

OCR et indexation documentaire

Les flux de travail documentaires sont généralement orientés par lots. Les exigences les plus importantes sont souvent :

• Un CPU performant
• Assez de RAM pour plusieurs conteneurs et bases de données
• Stockage actif rapide
• Stockage fiable des fichiers sources

Le flux de travail d'entrée de documents et OCR de Paperless-ngx illustre comment le traitement des documents inclut la consommation, l'OCR, les métadonnées, l'indexation et la conservation du fichier original.

Reconnaissance photo

L'IA photo crée un traitement initial lourd mais peut ne pas nécessiter de réponses en temps réel. Le CPU et la RAM gèrent les services applicatifs, tandis qu'une accélération optionnelle peut améliorer les tâches d'embedding de visages, d'objets ou visuels.

Les fonctionnalités de recherche intelligente et d'indexation média d'Immich montrent comment la recherche contextuelle, le texte OCR, les personnes reconnues, les métadonnées, la localisation, la date et les informations sur la caméra peuvent faire partie d'un même système de recherche.

RAG local et recherche sémantique

Le RAG local est un pipeline, pas un seul modèle. Du matériel peut être nécessaire pour :

• Extraction de documents
• Découpage en segments
• Génération d'embeddings
• Stockage vectoriel
• Récupération
• Reclassement
• Génération locale de réponses

L'embedding et l'indexation peuvent s'exécuter en arrière-plan, tandis que la génération de réponses est interactive. Les utilisateurs peuvent donc effectuer la récupération localement et déplacer uniquement l'étape de génération plus lourde vers une autre machine si nécessaire.

Détection de caméras de sécurité

L'IA pour caméras est l'une des charges de travail toujours actives les plus exigeantes car elle combine :

• Plusieurs flux réseau continus
• Décodage vidéo
• Analyse de mouvement
• Détection d'objets
• Métadonnées d'événements
• Écritures continues sur le stockage

Le nombre de caméras, la résolution, la fréquence d'images, la configuration des sous-flux, le type de modèle et la période de rétention peuvent être plus importants qu'une spécification GPU générique.

LLM locaux et inférence multi-utilisateurs

Les charges de travail interactives locales de LLM sont principalement limitées par :

• Mémoire du modèle
• Longueur du contexte
• Bande passante mémoire
• Requêtes parallèles
• Capacité GPU ou mémoire unifiée

Un petit modèle pour un utilisateur peut fonctionner sur un matériel modéré. Un modèle plus grand desservant plusieurs utilisateurs peut nécessiter un nœud de calcul beaucoup plus puissant.

L'IA doit-elle fonctionner sur le NAS ou sur un serveur IA séparé ?

Exécuter des tâches d'arrière-plan adjacentes au stockage sur le NAS

Les tâches qui appartiennent naturellement près des données stockées incluent :

• Indexation photo après sauvegarde
• OCR pour les nouveaux fichiers scannés
• Extraction de métadonnées
• Mises à jour d’intégration de documents
• Génération de vignettes
• Classification légère

Ces charges bénéficient d’un accès direct aux fichiers et peuvent souvent s’exécuter en arrière-plan sans matériel de classe station de travail.

Séparer les charges lourdes, chaudes ou fréquemment mises à jour

Un serveur AI séparé est plus attractif pour :

• LLM locaux plus volumineux
• Génération d’images
• Plusieurs flux de caméra
• Inférence multi-utilisateur
• Modèles et pilotes fréquemment modifiés
• Matériel produisant beaucoup de chaleur et de bruit

La décision de placement de la charge de travail est détaillée dans Exigences GPU et serveur AI externe pour les charges de travail NAS .

Gardez le stockage fiable lorsque les services AI échouent

Une conception séparée peut empêcher qu’une mise à jour expérimentale du runtime modèle ou du pilote GPU n’affecte le stockage principal.

Le NAS peut rester responsable de :

• Fichiers originaux
• Permissions utilisateur
• Instantanés
• Sauvegardes
• Copies de bases de données d’applications

Le serveur AI peut rester responsable de :

• Inférence de modèle
• Pilotes GPU
• Tâches d’intégration
• Conteneurs expérimentaux
• Détection de caméra lourde

Ce que les spécifications matérielles ne vous disent pas

Le support de l’accélérateur dépend du logiciel

Une fiche technique ne peut pas confirmer si une application prend en charge :

• Le pilote sélectionné
• Le système d’exploitation
• Le runtime du conteneur
• Le format du modèle
• L’API de l’accélérateur
• La génération exacte du matériel

Vérifiez la documentation de compatibilité actuelle de l’application avant de supposer qu’un GPU, NPU ou TPU sera utilisé.

Les TOPS ne mesurent pas le flux de travail complet

Les TOPS ne décrivent pas :

• Mémoire disponible
• Bande passante mémoire
• Compatibilité du modèle
• Performance de la base de données
• Décodage vidéo
• Latence de stockage
• Débit réseau
• Qualité de l'application

Un système équilibré avec un logiciel pris en charge peut surpasser un appareil à TOPS plus élevé qui ne peut pas exécuter la charge de travail requise efficacement.

Un serveur AI puissant peut toujours être un mauvais NAS

Un PC de jeu ou une station de travail peut offrir d'excellentes performances d'inférence mais manquer encore de :

• Fonctionnement efficace en permanence
• Extension pratique des disques
• Gestion du pool de stockage
• Refroidissement silencieux
• Intégration de sauvegarde
• Permissions de fichiers prévisibles

Inversement, un NAS à faible consommation peut être excellent pour le stockage et inadapté pour une IA locale lourde.

Utilisez la liste de contrôle des goulets d'étranglement en calcul, mémoire, stockage et réseau pour identifier quelle partie du système limite le flux de travail réel.

Liste de contrôle d'achat de matériel AI NAS

1. Définissez la charge de travail exacte.

   Spécifiez si le système exécutera la reconnaissance optique de caractères (OCR), l'indexation photo, la détection de caméra, le RAG, un chatbot, la génération d'images ou une autre tâche.

2. Décidez si le traitement est en arrière-plan ou en temps réel.

   Les tâches en arrière-plan peuvent tolérer un matériel plus lent. Les services en temps réel nécessitent une performance plus soutenue.

3. Estimez la taille de la bibliothèque de données.

   Incluez les fichiers originaux, les vignettes, les résultats OCR, les bases de données, les index, les modèles et la croissance future.

4. Estimez la mémoire du modèle et le contexte.

   Incluez la surcharge du runtime, le cache KV, les utilisateurs parallèles et d'autres applications.

5. Vérifiez le support logiciel pour l'accélérateur.

   Vérifiez les pilotes, le passage des conteneurs, le support du runtime et les formats de modèles.

6. Séparez la capacité HDD du stockage NVMe actif.

   Protégez les données sources sur le niveau de capacité et placez les bases de données actives et les modèles sur un stockage rapide.

7. Choisissez le réseau en fonction de l'architecture.

   1GbE peut suffire pour le traitement local ; 10GbE devient plus pertinent lorsque le calcul IA est séparé.

8. Protégez la fiabilité du NAS.

   Confirmez que l'indexation et l'inférence ne perturberont pas les sauvegardes, les enregistrements, l'accès aux fichiers ou la santé du stockage.

9. Planifiez l'alimentation, le refroidissement et le bruit.

   Évaluez à la fois l'efficacité au repos et la charge IA soutenue.

10. Décidez si un nœud de calcul externe est plus facile à mettre à niveau.

    Ne forcez pas une inférence lourde dans le NAS quand une architecture répartie est plus pratique.

Conclusion

Les exigences matérielles pour un NAS IA ne peuvent pas se réduire à un minimum unique de CPU, une quantité de RAM ou une recommandation GPU.

Le système correct dépend de la charge de travail :

• L'OCR et l'indexation légère peuvent fonctionner sur un CPU capable avec 16 Go de RAM et un stockage rapide pour les applications.
• La reconnaissance photo, le RAG de documents et plusieurs conteneurs bénéficient de plus de RAM et d'un niveau de travail NVMe.
• Les LLM locaux, l'IA multi-caméras, le contexte long et plusieurs utilisateurs peuvent nécessiter un GPU discret, plus de mémoire, un refroidissement renforcé et un calcul séparé.

La RAM système, la VRAM et la mémoire unifiée résolvent des problèmes différents. Les poids des modèles ne représentent qu'une partie de la demande en mémoire ; le contexte, la concurrence, les bases de données, les index et les services NAS nécessitent également de la capacité.

Les disques durs restent utiles pour les données sources protégées, tandis que le NVMe est meilleur pour les applications actives, les modèles, les caches et les index. La vitesse du réseau doit correspondre à la quantité de données échangées entre le NAS et tout serveur IA externe.

Le meilleur NAS IA n'est pas le système avec le plus grand GPU ou la plus haute note TOPS. C'est le système qui exécute la charge de travail prévue de manière fiable sans compromettre le stockage, les sauvegardes, l'efficacité énergétique ou la maintenabilité.

FAQ

Quelle est une configuration de départ pratique pour un NAS IA ?

Un processeur multi-cœurs moderne, 16 Go de RAM, un stockage HDD pour les fichiers sources, un niveau SSD ou NVMe pour les applications et les index, ainsi qu'un réseau 1GbE ou 2,5GbE peuvent constituer un point de départ pratique pour des charges de travail légères en arrière-plan.

Ce n'est pas un minimum universel. Des applications plus lourdes peuvent nécessiter plus de RAM, d'accélération, de performance de stockage ou un calcul séparé.

Puis-je exécuter de l'IA sur un NAS sans GPU dédié ?

Oui. La reconnaissance optique de caractères (OCR), l'indexation de documents, l'extraction de métadonnées, les petits embeddings et le traitement des photos en arrière-plan peuvent fonctionner sur du matériel CPU.

Un GPU devient plus utile pour les LLM locaux, les modèles multimodaux, la génération d'images, l'inférence à haut volume et plusieurs utilisateurs simultanés.

16 Go de RAM suffisent-ils pour un NAS IA ?

16 Go peuvent suffire pour quelques conteneurs, de l'OCR léger, l'extraction de métadonnées et l'indexation en arrière-plan.

Cela peut devenir limitant lorsque le système gère aussi de grandes bibliothèques photo, du RAG documentaire, des bases de données vectorielles, la virtualisation, des modèles locaux ou plusieurs services simultanés.

Quand choisir 32 Go de RAM ?

32 Go est un objectif plus réaliste pour exécuter plusieurs applications IA, des index plus grands, du RAG privé, la reconnaissance photo, des bases de données et une génération locale légère sur le même système.

Quand 64 Go ou plus de RAM ont-ils du sens ?

64 Go ou plus deviennent pertinents pour les index plus grands, la virtualisation, plusieurs utilisateurs, les flux de travail à long contexte, l'inférence CPU ou mémoire unifiée, et plusieurs services IA.

Combien de VRAM un LLM local nécessite-t-il ?

Les besoins en VRAM dépendent de l'architecture du modèle, de la quantification, de la longueur du contexte, du cache KV, de la surcharge d'exécution et de la concurrence.

Utilisez l'environnement d'exécution cible pour estimer la mémoire totale plutôt que de vous fier uniquement au nombre de paramètres ou à la taille du modèle téléchargé.

Un NPU suffit-il pour les LLM locaux ?

Généralement pas pour les charges LLM locales plus lourdes. Les NPU conviennent souvent mieux à une inférence efficace prise en charge, à la vision, à la classification ou aux tâches en arrière-plan.

La compatibilité logicielle détermine si un NPU apporte une valeur pratique.

Les applications NAS IA doivent-elles s'exécuter depuis des HDD ou NVMe ?

Les médias originaux, documents, enregistrements et sauvegardes peuvent rester sur un stockage HDD. Les modèles, conteneurs, bases de données, vignettes, cache, embeddings et index sont généralement mieux placés sur SSD ou NVMe.

Un NAS IA a-t-il besoin de 10GbE ?

Non. Le 1GbE peut suffire lorsque l'IA s'exécute directement sur le NAS et que les gros fichiers ne circulent pas fréquemment.

Le 10GbE devient plus utile pour les serveurs IA externes, les données partagées sur NVMe, les flux médias volumineux et plusieurs utilisateurs actifs.

Un réseau plus rapide accélère-t-il l'inférence LLM locale ?

Pas lorsque le modèle et les données sont déjà sur la même machine. Le réseau affecte principalement le déplacement des données entre le NAS, les utilisateurs, les stations de travail et les nœuds de calcul externes.

L'inférence IA lourde doit-elle s'exécuter en dehors du NAS ?

Souvent, oui. Les modèles plus grands, la génération d'images, l'inférence multi-utilisateurs et l'IA continue des caméras peuvent être plus faciles à mettre à niveau et à refroidir sur un serveur séparé.

Le NAS peut rester responsable du stockage fiable, des permissions, des instantanés et des sauvegardes.

Quelle est la plus grande erreur matérielle pour un NAS IA ?

L'erreur la plus courante est d'acheter un composant impressionnant sans vérifier le reste de la chaîne.

Un GPU puissant ne peut pas compenser un manque de RAM, un stockage actif lent, un logiciel non pris en charge, un refroidissement insuffisant ou une conception de stockage peu fiable.

Références

• FAQ - Ollama
• ggml-org/llama.cpp - Inférence LLM en C/C++
• Matériel recommandé - Frigate
• Utilisation de base - Paperless-ngx
• Recherche - Immich