ZimaBoard 2 peut-il faire fonctionner un assistant IA local ?

Introduction

Chez ZimaSpace, nous explorons continuellement comment le matériel compact peut redéfinir l'informatique personnelle. Dans cet article, nous décomposons une expérience pratique menée par le créateur de la chaîne YouTube Core Works Lab, qui a testé si un serveur monocarte sans ventilateur peut faire fonctionner un assistant vocal IA entièrement local.

Nous remercions Core Works Lab pour la présentation détaillée et les tests en conditions réelles. Cet article transforme leurs insights vidéo en un format écrit structuré pour aider plus d'utilisateurs à comprendre ce qui est possible avec ZimaBoard 2 comme serveur domestique — des charges de travail IA aux configurations homelab.

Test de ZimaBoard 2 comme machine IA locale

L'appareil testé est le ZimaBoard 2 (Intel N150, 16 Go DDR5, 64 Go eMMC), un serveur domestique compact et basse consommation conçu pour la flexibilité. Il prend en charge l'expansion native SATA et PCIe, permettant aux utilisateurs de connecter des SSD, GPU et cartes réseau sans adaptateurs supplémentaires.

L'objectif du créateur était clair :
Un serveur domestique sans ventilateur peut-il faire fonctionner de manière fiable un assistant vocal IA local ?

Configuration initiale et matériel

Le système a été étendu en utilisant :

• SSD NVMe via adaptateur PCIe
• Baie double pour disques 2,5"
• GPU optionnel (GT 1030)
• ZimaOS préinstallé

La carte démarre sur un tableau de bord web, où des applications comme des conteneurs Docker et des outils tels que N8N peuvent être installés.

Observation clé :
Le processus d'installation est simple, rendant ZimaBoard 2 accessible même aux utilisateurs construisant leur premier serveur domestique.

Cependant, quelques problèmes matériels mineurs ont été notés :

• Les vis du support de montage n'étaient pas filetées
• Certaines vis étaient trop longues pour certaines configurations

Exécution de l'assistant IA (CAL)

L'assistant (CAL) a été déployé via Docker en configuration CPU uniquement.

La configuration initiale comprenait :

• Parole en texte : Groq Whisper (cloud)
• LLM : Groq (inférence cloud)
• Texte en parole : Piper (CPU local)

Résultat :
La configuration hybride a fonctionné sans accroc et a répondu rapidement, établissant une base solide.

Une fonctionnalité clé démontrée était la mémoire à court terme, où l'assistant stockait et rappelait des données comme des numéros de suivi ou des détails de vol.

Exemple :

• Enregistré : Numéro de vol AF1
• Récupéré automatiquement pour les requêtes basées sur des outils

Cela montre comment les systèmes de mémoire persistante peuvent améliorer les assistants IA sur un serveur domestique.

Test de LLM local avec Ollama

La phase suivante a testé des modèles entièrement locaux utilisant Ollama.

Ministral 3B (3 milliards de paramètres)

• Traitement des invites : ~268 tokens/sec
• Vitesse de génération : ~7 tokens/sec

Constatation clé :
Il a réussi à appeler des outils sans affinage, ce qui est impressionnant.

Cependant :

• Le temps de réponse a atteint jusqu'à 6 minutes par interaction

Cela le rend impraticable pour les assistants vocaux en temps réel.

Fonction Gemma (270M paramètres)

• Beaucoup plus rapide (~43 tokens/sec)
• Échec d'exécution correcte des appels d'outils

Observation :
Les petits modèles sont plus rapides mais nécessitent un affinage pour gérer des tâches structurées comme l'appel d'outils.

Ajout d'un GPU : gains de performance

Un GT 1030 (2 Go VRAM) a été ajouté via PCIe.

Résultats :

• La vitesse d'évaluation des prompts a presque doublé
• Répartition du modèle : 34 % GPU / 66 % CPU
• La vitesse de génération des tokens est restée similaire

Point important :
La bande passante—et non la puissance de calcul—est le goulot d'étranglement pour la génération de tokens.

Lors du test d'un modèle plus petit entièrement chargé dans le GPU :

• L'évaluation des prompts a atteint 1100 tokens/sec

Cela confirme :

Le chargement complet du GPU améliore considérablement la latence pour une configuration IA sur serveur domestique

Limitations dans le monde réel

Malgré des résultats prometteurs, plusieurs contraintes sont apparues :

• Les configurations CPU uniquement sont trop lentes pour les grands modèles
• Les petits modèles manquent de fiabilité sans entraînement
• La performance GPU dépend fortement de la VRAM et de l'alimentation

Le créateur a noté qu'un GPU 5 Go (par exemple, Quadro P2200) pouvait charger complètement un modèle 3B et améliorer significativement la performance.

Points clés à retenir

• ZimaBoard 2 peut exécuter des charges de travail IA efficacement en tant que serveur domestique
• Les configurations hybrides (cloud + local) offrent aujourd'hui le meilleur équilibre
• Les LLM locaux sont viables mais nécessitent une optimisation
• Les mises à niveau GPU débloquent des gains de performance significatifs
• La capacité d'appel d'outils dépend plus de la conception du modèle que de la taille

Featured

ZimaBoard 2 - Serveur domestique monocarte haute performance

Single board computer zimaboard2

$279.00 - $349.00

Buy Now

Pourquoi ZimaBoard 2 se démarque

ZimaBoard 2 combine :

• Faible consommation d'énergie (fonctionnement 24/7)
• Conception silencieuse et sans ventilateur
• Extension SATA & PCIe native
• Double Ethernet 2,5G

Cela le rend idéal pour :

• Serveurs multimédias Plex
• Laboratoires Docker
• Conteneurs d'IA
• Systèmes NAS personnels

Comme beaucoup d'utilisateurs le décrivent :
« Un mini serveur qui ressemble à un jouet mais fonctionne comme une bête. »

Réflexions finales

Cette expérience montre que construire un serveur domestique capable d'IA n'est plus hors de portée. Bien que les assistants vocaux entièrement locaux rencontrent encore des défis de performance, ZimaBoard 2 offre une base flexible et puissante pour l'expérimentation.

Pour les développeurs, bricoleurs et passionnés de homelab, cela ouvre la porte à :

• Pipelines d'IA locaux
• Configurations d'informatique en périphérie
• Environnements de serveur entièrement personnalisés

Et peut-être plus important encore—cela rend le processus amusant, modifiable et accessible.