Lokal AI på ZimaCube 2 — PCIe-expansion, Ollama och framtidssäkring av ditt hemmalabb

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

💡 Från gemenskapen: Michael Luckenbill, ZimaCube 2-pionjärprogrammet

När jag öppnade ZimaCube 2 för första gången tittade jag inte bara på vad den kunde göra i dag. Jag tittade på vad den skulle kunna bli i morgon.

Inuti hittade jag, utöver den förväntade hårdvaran, något som verkligen gjorde mig entusiastisk: en Kingston NVMe-enhet på 256 GB för operativsystemet — och en extra oanvänd NVMe-plats på moderkortet. Tillsammans med PCIe-expansionsplatsen på baksidan var det här inte bara en NAS. Det var en plattform utformad för att växa.

Vy framifrån av ZimaCube 2: 6 SATA-enhetsfack, USB-A- och USB-C-portar på framsidan, inbyggd M.2 NVMe-plats

Mer än lagring: En plattform utformad för utbyggnad

ZimaCube 2 levereras redo att användas, men det verkligt intressanta är vad du kan lägga till senare:

Inbyggt

  • 6 × SATA-fack
  • 4 × M.2 NVMe-platser
  • 8 GB DDR5 SODIMM
  • Dubbla 2,5 Gb Ethernet-portar
  • Metallchassi med aktiv kylning

Utbyggbart

  • Extra NVMe-plats på moderkortet
  • PCIe-expansionsplats (GPU/AI/lagring/nätverk)
  • Uppgraderbart SODIMM DDR5-RAM
  • Utbytbara standardkomponenter

Det här är en av systemets största styrkor: det växer med dina infrastrukturbehov. Du behöver inte köpa allt på en gång. Du börjar med det du behöver och bygger ut när du är redo.

Lokal AI: Varför det är viktigt för hemlabb

Ett av mina långsiktiga mål är att köra fler AI-arbetsbelastningar lokalt. Inte för att moln-AI är dåligt — utan för att lokal AI ger dig något annat:

  • Integritet — Dina data lämnar aldrig ditt nätverk
  • Förutsägbara kostnader — Ingen prissättning per token, inga API-fakturor i slutet av månaden
  • Frihet att experimentera — Testa modeller, ha sönder saker, börja om — utan att oroa dig för molnkostnader
  • Funktion offline — AI som fungerar när din internetanslutning inte gör det
  • Lärande — Förstå hur modeller faktiskt fungerar genom att köra dem själv

ZimaCube 2 ger mig en plattform där jag kan experimentera med allt detta — Ollama för lokala LLM:er, AI-assisterade utvecklingsflöden, bildanalysflöden, inferensarbetsbelastningar och självhostade AI-verktyg — utan att helt förlita mig på molninfrastruktur.

Vad du kan köra i dag (utan GPU)

Redan innan du lägger till ett dedikerat grafikkort ger ZimaCube 2 en stark grund för AI-experimenterande:

🤖 Ollama och mindre modeller — Standardsystemet kan utan problem köra kvantiserade modeller med 7B–8B parametrar. Tänk Llama 3, Mistral och modeller i Phi-klassen för chatt, kodhjälp och textanalys.
💻 AI-assisterad utveckling — Kombinera Ollama med verktyg som Continue.dev eller Cody, så får du en lokal AI-kodningsassistent som fungerar helt offline. Inga API-nycklar, inga användningsgränser, inga integritetsproblem.
📄 Dokumentanalys och RAG — Med ZFS-lagringspooler kan du bygga lokala RAG-flöden (generering med informationshämtning) — mata in dina dokument, anteckningar och datamängder i en lokal vektordatabas och ställ frågor om dem med en LLM som körs på samma maskin.
🎁 Automatisering och skript — Lokala LLM:er är utmärkta för strukturerade uppgifter som klassificering, sammanfattning och extrahering. Koppla Ollama till dina befintliga Docker-arbetsflöden och automatisera textbearbetningsflöden som tidigare krävde moln-API:er.
ZimaCube 2:s interna hårdvarulayout, passiv CPU-kylfläns, PCIe-expansionsplats och inbyggda NVMe-platser

Uppgraderingsvägen för grafikprocessorn

PCIe-expansionsplatsen är där det blir riktigt intressant på sikt. Om du lägger till ett grafikkort — även ett enklare — förvandlas ZimaCube 2 till en riktig lokal AI-server:

  • Större modeller — Kör modeller med 13B–34B parametrar med avlastning till grafikprocessorn
  • Snabbare inferens — 10–50× snabbare tokengenerering
  • Omkodning av media — Hårdvaruaccelererad omkodning för Plex/Jellyfin
  • Bildgenerering — Stable Diffusion och liknande modeller
  • Servering av flera modeller — Kör olika modeller för olika uppgifter samtidigt
🔌 Platsen stöder vanliga PCIe-kort — inga proprietära formfaktorer, ingen leverantörsinlåsning. Du väljer det grafikkort som passar dina behov och din budget.

Därför är den här arkitekturen viktig

Hemmalabb används allt oftare till AI-arbetsbelastningar, lokal inferens, omkodning av media, containerorkestrering och edge computing.

ZimaCube 2 känns utformad med den framtiden i åtanke. Det är inte en förseglad apparat som förväntar sig att du ska köpa en ny när dina behov förändras. Det är en plattform som säger ”här är vad du behöver nu, och här finns plats för det du kommer att vilja ha senare”.

För mig är det skillnaden mellan en pryl och infrastruktur.

Termisk verklighetskontroll: Klarar den ett grafikkort?

En naturlig fråga: klarar ett kompakt och tyst system verkligen den termiska belastningen från ett grafikkort?

Svaret beror på grafikkortet, men grunderna är solida:

  • Metallchassit fungerar som en kylfläns
  • Luftflödesdesignen är genomtänkt (inte en eftertanke)
  • Den interna komponentplaceringen ger utrymme för luftflödet som ett PCIe-kort behöver

Systemet klarar redan kontinuerliga arbetsbelastningar med Docker, ZFS och nätverk utan att bli varmt. Den termiska designen har marginal.

Vanliga frågor

Q1: Kan ZimaCube 2 köra Ollama?

Ja. Standardkonfigurationen kan utan problem köra kvantiserade modeller med 7B–8B parametrar (Llama 3, Mistral, Phi) för chatt, kodassistans och textanalys. Med ett grafikkort anslutet via PCIe kan du köra större modeller med betydligt snabbare inferens.

Q2: Har ZimaCube 2 en PCIe-plats för ett grafikkort?

Ja. ZimaCube 2 har en PCIe-expansionsplats som stöder standardgrafikkort, AI-acceleratorer, extra lagringskort och nätverkskort. Inga proprietära formfaktorer eller leverantörsinlåsning.

Q3: Vad kan jag göra med lokal AI på en NAS?

Lokal AI på en NAS möjliggör privata chattassistenter, AI-assisterad kodning (med verktyg som Continue.dev), dokumentanalys med RAG-pipelines, automatiserad textbearbetning och klassificering, bildanalys och experiment utan kostnader för moln-API:er.

Q4: Hur många NVMe-platser har ZimaCube 2?

Systemet har 4× M.2 NVMe-platser plus ytterligare en NVMe-plats på moderkortet (som ursprungligen innehöll OS-enheten), som kan användas för speglade OS-enheter, dedikerad Docker-lagring eller cachelager.

Q5: Kan jag uppgradera RAM-minnet senare?

Ja. ZimaCube 2 använder standardminne av typen SODIMM DDR5, som kan bytas ut av användaren. Standardkonfigurationen på 8 GB klarar containerarbetsbelastningar bra, och du kan uppgradera när dina behov växer.

Q6: Har ZimaCube 2 tillräcklig kylkapacitet för ett grafikkort?

Ja. Metallchassit, den genomtänkta luftflödesdesignen och komponenternas placering inuti stödjer luftflödet kring PCIe-kortet. Systemet klarar kontinuerliga arbetsbelastningar utan att bli varmt, och den termiska designen har marginal för utbyggnad.

Zima-kampanjhubben

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.