Kan ZimaBoard 2 een lokale AI-assistent draaien?

Introductie

Bij ZimaSpace verkennen we continu hoe compacte hardware persoonlijke computing kan herdefiniëren. In dit artikel analyseren we een praktische test door de maker achter het Core Works Lab YouTube-kanaal, die onderzocht of een ventilatorloze single-board server een volledig lokale AI-spraakassistent kan draaien.

We willen Core Works Lab bedanken voor de gedetailleerde walkthrough en praktijktests. Dit artikel zet hun video-inzichten om in een gestructureerd, geschreven formaat om meer gebruikers te helpen begrijpen wat mogelijk is met ZimaBoard 2 als Home Server—van AI-workloads tot homelab-opstellingen.

ZimaBoard 2 testen als lokale AI-machine

Het geteste apparaat is de ZimaBoard 2 (Intel N150, 16GB DDR5, 64GB eMMC), een compacte en energiezuinige Home Server ontworpen voor flexibiliteit. Het ondersteunt native SATA- en PCIe-uitbreiding, waardoor gebruikers SSD's, GPU's en netwerkkaarten kunnen aansluiten zonder extra adapters.

Het doel van de maker was duidelijk:
Kan een ventilatorloze Home Server betrouwbaar een lokale AI-spraakassistent draaien?

Initiële installatie en hardwareconfiguratie

Het systeem werd uitgebreid met:

• NVMe SSD via PCIe-adapter
• Dubbele 2,5" schijfbehuizing
• Optionele GPU (GT 1030)
• ZimaOS vooraf geïnstalleerd

Het bord start op in een webgebaseerd dashboard, waar applicaties zoals Docker-containers en tools zoals N8N kunnen worden geïnstalleerd.

Belangrijke observatie:
Het installatieproces is eenvoudig, waardoor ZimaBoard 2 toegankelijk is, zelfs voor gebruikers die hun eerste Home Server bouwen.

Echter, werden enkele kleine hardwareproblemen opgemerkt:

• Beugelschroeven waren niet getapt
• Sommige schroeven waren te lang voor bepaalde configuraties

De AI-assistent (CAL) draaien

De assistent (CAL) werd ingezet via Docker met een CPU-only configuratie.

Initiële opstelling omvatte:

• Spraak-naar-tekst: Groq Whisper (cloud)
• LLM: Groq (cloud-inferentie)
• Tekst-naar-spraak: Piper (lokaal CPU)

Resultaat:
De hybride opstelling werkte soepel en reageerde snel, wat een sterke basislijn opleverde.

Een belangrijke functie die werd gedemonstreerd was korte-termijngeheugen, waarbij de assistent gegevens zoals trackingnummers of vluchtgegevens opsloeg en terughaalde.

Voorbeeld:

• Opgeslagen: Vluchtnummer AF1
• Automatisch opgehaald voor tool-gebaseerde zoekopdrachten

Dit toont aan hoe persistente geheugensystemen AI-assistenten op een Home Server kunnen verbeteren.

Lokale LLM-test met Ollama

De volgende fase testte volledig lokale modellen met Ollama.

Ministral 3B (3 miljard parameters)

• Promptverwerking: ~268 tokens/sec
• Generatiesnelheid: ~7 tokens/sec

Belangrijkste bevinding:
Het riep succesvol tools aan zonder fijnafstelling, wat indrukwekkend is.

Echter:

• Reactietijd bereikte tot 6 minuten per interactie

Dit maakt het onpraktisch voor realtime spraakassistenten.

Functie Gemma (270M Parameters)

• Veel sneller (~43 tokens/sec)
• Kon tool-aanroepen niet correct uitvoeren

Inzicht:
Kleinere modellen zijn sneller maar vereisen fijnafstelling om gestructureerde taken zoals tool-aanroepen aan te kunnen.

Een GPU toevoegen: prestatieverbeteringen

Een GT 1030 (2GB VRAM) werd toegevoegd via PCIe.

Resultaten:

• Prompt-evaluatiesnelheid bijna verdubbeld
• Modelverdeling: 34% GPU / 66% CPU
• De snelheid van token generatie bleef vergelijkbaar

Belangrijke conclusie:
Bandbreedte—niet rekenkracht—is de bottleneck voor token generatie.

Bij het testen van een kleiner model volledig geladen in de GPU:

• Prompt-evaluatie bereikte 1100 tokens/sec

Dit bevestigt:

Volledige GPU-belasting verbetert de latentie dramatisch voor een Home Server AI-opstelling

Beperkingen in de praktijk

Ondanks veelbelovende resultaten kwamen er verschillende beperkingen naar voren:

• CPU-only opstellingen zijn te traag voor grote modellen
• Kleine modellen missen betrouwbaarheid zonder training
• GPU-prestaties hangen sterk af van VRAM en stroomvoorziening

De maker merkte op dat een 5GB GPU (bijv. Quadro P2200) een 3B-model volledig kon belasten en de prestaties aanzienlijk verbeterde.

Belangrijkste conclusies

• ZimaBoard 2 kan AI-taken effectief uitvoeren als Home Server
• Hybride (cloud + lokaal) opstellingen bieden vandaag de beste balans
• Lokale LLM's zijn haalbaar maar vereisen optimalisatie
• GPU-upgrades ontgrendelen aanzienlijke prestatieverbeteringen
• Tool-aanroepcapaciteit hangt meer af van modelontwerp dan van grootte

-15% OFF

ZimaBoard 2 - Mini-thuisserver voor jouw grote idee

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Waarom ZimaBoard 2 eruit springt

ZimaBoard 2 combineert:

• Laag energieverbruik (24/7 werking)
• Stil, ventilatorloos ontwerp
• Native SATA & PCIe-uitbreiding
• Dubbele 2,5G Ethernet

Dit maakt het ideaal voor:

• Plex-mediaservers
• Docker-labs
• AI-containers
• Persoonlijke NAS-systemen

Zoals veel gebruikers het beschrijven:
“Een mini-server die eruitziet als een speelgoedje maar draait als een beest.”

Slotgedachten

Dit experiment toont aan dat het bouwen van een AI-capabele Home Server niet langer onbereikbaar is. Hoewel volledig lokale spraakassistenten nog prestatie-uitdagingen kennen, Biedt ZimaBoard 2 een flexibele en krachtige basis voor experimenten.

Voor ontwikkelaars, knutselaars en homelab-liefhebbers opent het de deur naar:

• Lokale AI-pijplijnen
• Edge computing-opstellingen
• Volledig aangepaste serveromgevingen

En misschien wel het belangrijkste—het maakt het proces leuk, aanpasbaar en toegankelijk.