ZimaBoard 2 peut-il faire fonctionner un assistant IA local ?

Introduction

Chez ZimaSpace, nous explorons continuellement comment le matériel compact peut redéfinir l’informatique personnelle. Dans cet article, nous décomposons une expérience pratique menée par le créateur de la chaîne YouTube Core Works Lab, qui a testé si un serveur monocarte sans ventilateur peut faire fonctionner un assistant vocal IA entièrement local.

Nous remercions Core Works Lab pour leur présentation détaillée et leurs tests en conditions réelles. Cet article transforme leurs vidéos en un format écrit structuré pour aider plus d’utilisateurs à comprendre ce qui est possible avec ZimaBoard 2 comme serveur domestique — des charges de travail IA aux configurations homelab.

Test de ZimaBoard 2 comme machine IA locale

L’appareil testé est le ZimaBoard 2 (Intel N150, 16 Go DDR5, 64 Go eMMC), un serveur domestique compact et basse consommation conçu pour la flexibilité. Il prend en charge l’extension native SATA et PCIe, permettant aux utilisateurs de connecter SSD, GPU et cartes réseau sans adaptateurs supplémentaires.

L’objectif du créateur était clair :
Un serveur domestique sans ventilateur peut-il faire fonctionner un assistant vocal IA local de manière fiable ?

Configuration initiale et matériel

Le système a été étendu avec :

• SSD NVMe via adaptateur PCIe
• Baie double pour disques 2,5"
• GPU optionnel (GT 1030)
• ZimaOS préinstallé

La carte démarre sur un tableau de bord web, où des applications comme des conteneurs Docker et des outils tels que N8N peuvent être installés.

Observation clé :
Le processus d’installation est simple, rendant ZimaBoard 2 accessible même aux utilisateurs construisant leur premier serveur domestique.

Cependant, quelques problèmes matériels mineurs ont été notés :

• Les vis du support de montage n’étaient pas filetées
• Certaines vis étaient trop longues pour certaines configurations

Exécution de l’assistant IA (CAL)

L’assistant (CAL) a été déployé via Docker en configuration CPU uniquement.

La configuration initiale comprenait :

• Parole en texte : Groq Whisper (cloud)
• LLM : Groq (inférence cloud)
• Texte en parole : Piper (CPU local)

Résultat :
La configuration hybride a fonctionné sans accroc et a répondu rapidement, établissant une base solide.

Une fonctionnalité clé démontrée était la mémoire à court terme, où l’assistant stockait et rappelait des données comme des numéros de suivi ou des détails de vol.

Exemple :

• Enregistré : Numéro de vol AF1
• Récupéré automatiquement pour les requêtes basées sur des outils

Cela montre comment les systèmes de mémoire persistante peuvent améliorer les assistants IA sur un serveur domestique.

Test de LLM local avec Ollama

La phase suivante a testé des modèles entièrement locaux avec Ollama.

Ministral 3B (3 milliards de paramètres)

• Traitement des prompts : ~268 tokens/sec
• Vitesse de génération : ~7 tokens/sec

Constatation clé :
Il a réussi à appeler des outils sans affinage, ce qui est impressionnant.

Cependant :

• Le temps de réponse a atteint jusqu’à 6 minutes par interaction

Cela le rend impraticable pour les assistants vocaux en temps réel.

Fonction Gemma (270M paramètres)

• Beaucoup plus rapide (~43 tokens/sec)
• Échec d’exécution correcte des appels d’outils

Insight :
Les petits modèles sont plus rapides mais nécessitent un affinage pour gérer des tâches structurées comme l’appel d’outils.

Ajout d’un GPU : gains de performance

Un GT 1030 (2 Go VRAM) a été ajouté via PCIe.

Résultats :

• La vitesse d’évaluation des prompts a presque doublé
• Répartition du modèle : 34 % GPU / 66 % CPU
• La vitesse de génération des tokens est restée similaire

Point important :
La bande passante—et non le calcul—est le goulot d’étranglement pour la génération de tokens.

Lors du test d’un modèle plus petit entièrement chargé dans le GPU :

• L’évaluation des prompts a atteint 1100 tokens/sec

Cela confirme :

Le chargement complet du GPU améliore considérablement la latence pour une configuration IA sur serveur domestique

Limitations dans le monde réel

Malgré des résultats prometteurs, plusieurs contraintes sont apparues :

• Les configurations CPU seules sont trop lentes pour les grands modèles
• Les petits modèles manquent de fiabilité sans entraînement
• La performance GPU dépend fortement de la VRAM et de l’alimentation

Le créateur a noté qu’un GPU 5 Go (ex. Quadro P2200) pouvait charger entièrement un modèle 3B et améliorer significativement la performance.

Points clés à retenir

• ZimaBoard 2 peut exécuter des charges de travail IA efficacement en tant que serveur domestique
• Les configurations hybrides (cloud + local) offrent aujourd’hui le meilleur équilibre
• Les LLM locaux sont viables mais nécessitent une optimisation
• Les mises à niveau GPU débloquent des gains de performance significatifs
• La capacité d’appel d’outils dépend plus de la conception du modèle que de la taille

-15% OFF

ZimaBoard 2 - Mini serveur domestique pour votre grande idée

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Pourquoi ZimaBoard 2 se démarque

ZimaBoard 2 combine :

• Faible consommation d’énergie (fonctionnement 24/7)
• Design silencieux et sans ventilateur
• Extension SATA & PCIe native
• Double Ethernet 2,5G

Cela le rend idéal pour :

• Serveurs multimédias Plex
• Laboratoires Docker
• Conteneurs d’IA
• Systèmes NAS personnels

Comme beaucoup d’utilisateurs le décrivent :
« Un mini serveur qui ressemble à un jouet mais fonctionne comme une bête. »

Réflexions finales

Cette expérience montre que construire un serveur domestique capable d’IA n’est plus hors de portée. Bien que les assistants vocaux entièrement locaux rencontrent encore des défis de performance, ZimaBoard 2 offre une base flexible et puissante pour l’expérimentation.

Pour les développeurs, bricoleurs et passionnés de homelab, cela ouvre la porte à :

• Pipelines d’IA locaux
• Configurations d’informatique en périphérie
• Environnements de serveur entièrement personnalisés

Et peut-être le plus important—cela rend le processus amusant, modifiable et accessible.