Kan ZimaBoard 2 köra en lokal AI-assistent?

Introduktion

På ZimaSpace utforskar vi kontinuerligt hur kompakt hårdvara kan omdefiniera personlig databehandling. I denna artikel bryter vi ner ett praktiskt experiment av skaparen bakom Core Works Lab YouTube-kanal, som testade om en fläktlös enkortsdator kan köra en helt lokal AI-röstassistent.

Vi vill tacka Core Works Lab för den detaljerade genomgången och verklighetstesterna. Denna artikel omvandlar deras videoinblickar till ett strukturerat, skriftligt format för att hjälpa fler användare att förstå vad som är möjligt med ZimaBoard 2 som hemserver—från AI-arbetsbelastningar till homelab-konfigurationer.

Test av ZimaBoard 2 som lokal AI-maskin

Enheten som testades är ZimaBoard 2 (Intel N150, 16GB DDR5, 64GB eMMC), en kompakt och energieffektiv hemserver designad för flexibilitet. Den stöder inbyggd SATA och PCIe-expansion, vilket gör det möjligt för användare att ansluta SSD:er, GPU:er och nätverkskort utan extra adaptrar.

Skaparens mål var tydligt:
Kan en fläktlös hemserver köra en lokal AI-röstassistent pålitligt?

Initial installation och hårdvarukonfiguration

Systemet utökades med:

• NVMe SSD via PCIe-adapter
• Dubbel 2,5" hårddiskplats
• Valfri GPU (GT 1030)
• ZimaOS förinstallerat

Kortet startar upp i en webbaserad kontrollpanel där applikationer som Docker-containrar och verktyg som N8N kan installeras.

Viktig observation:
Installationsprocessen är enkel, vilket gör ZimaBoard 2 tillgänglig även för användare som bygger sin första hemserver.

Dock noterades några mindre hårdvaruproblem:

• Fästskenans skruvar var inte gängade
• Vissa skruvar var för långa för vissa konfigurationer

Köra AI-assistenten (CAL)

Assistenten (CAL) distribuerades via Docker med CPU-endast konfiguration.

Initial installation inkluderade:

• Tal-till-text: Groq Whisper (moln)
• LLM: Groq (molninferens)
• Text-till-tal: Piper (lokal CPU)

Resultat:
Den hybrida lösningen fungerade smidigt och svarade snabbt, vilket etablerade en stark grund.

En nyckelfunktion som demonstrerades var korttidsminne, där assistenten sparade och hämtade data som spårningsnummer eller flyginformation.

Exempel:

• Sparad: Flygnummer AF1
• Hämtas automatiskt för verktygsbaserade frågor

Detta visar hur persistenta minnessystem kan förbättra AI-assistenter på en hemserver.

Test av lokala LLM med Ollama

Nästa fas testade helt lokala modeller med Ollama.

Ministral 3B (3 miljarder parametrar)

• Promptbearbetning: ~268 token/sek
• Genereringshastighet: ~7 token/sek

Viktig upptäckt:
Den lyckades kalla verktyg utan finjustering, vilket är imponerande.

Men:

• Svarstiden nådde upp till 6 minuter per interaktion

Detta gör den opraktisk för röstassistenter i realtid.

Funktion Gemma (270M parametrar)

• Mycket snabbare (~43 tokens/sek)
• Misslyckades med att korrekt utföra verktygsanrop

Insikt:
Mindre modeller är snabbare men kräver finjustering för att hantera strukturerade uppgifter som verktygsanrop.

Att lägga till en GPU: Prestandavinster

En GT 1030 (2GB VRAM) lades till via PCIe.

Resultat:

• Promptutvärderingshastigheten nästan fördubblades
• Modellfördelning: 34% GPU / 66% CPU
• Token-genereringshastigheten förblev liknande

Viktig slutsats:
Breddband—inte beräkning—är flaskhalsen för token-generering.

Vid test av en mindre modell fullt inläst i GPU:

• Promptutvärdering nådde 1100 tokens/sek

Detta bekräftar:

Full GPU-belastning förbättrar dramatiskt latensen för en AI-setup på hemserver

Begränsningar i verkligheten

Trots lovande resultat uppstod flera begränsningar:

• CPU-endast-konfigurationer är för långsamma för stora modeller
• Små modeller saknar pålitlighet utan träning
• GPU-prestanda beror starkt på VRAM och strömförsörjning

Skaparen noterade att en 5GB GPU (t.ex. Quadro P2200) kunde fullt utnyttja en 3B-modell och avsevärt förbättra prestandan.

Viktiga slutsatser

• ZimaBoard 2 kan effektivt köra AI-arbetsbelastningar som hemserver
• Hybridlösningar (moln + lokalt) ger idag bäst balans
• Lokala LLM:er är möjliga men kräver optimering
• GPU-uppgraderingar ger betydande prestandavinster
• Verktygsanropsförmåga beror mer på modellens design än storlek

-15% OFF

ZimaBoard 2 - Minihemmserver för din stora idé

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Varför ZimaBoard 2 sticker ut

ZimaBoard 2 kombinerar:

• Låg strömförbrukning (24/7 drift)
• Tyst, fläktlös design
• Inbyggd SATA & PCIe-expansion
• Dubbel 2,5G Ethernet

Detta gör den idealisk för:

• Plex-mediaservrar
• Docker-labb
• AI-containrar
• Personliga NAS-system

Som många användare beskriver den:
”En mini-server som ser ut som en leksak men körs som ett odjur.”

Slutliga tankar

Detta experiment visar att det inte längre är utom räckhåll att bygga en AI-kapabel hemserver. Även om helt lokala röstassistenter fortfarande har prestandautmaningar, ger ZimaBoard 2 en flexibel och kraftfull grund för experiment.

För utvecklare, hobbyfixare och homelab-entusiaster öppnar det dörren till:

• Lokala AI-pipelines
• Edge computing-konfigurationer
• Fullt anpassade servermiljöer

Och kanske viktigast av allt—det gör processen rolig, hackbar och tillgänglig.