Warum Zero to MVP rund um die Uhr 2–4-GB-KI-Modelle auf der ZimaCube 2 ausführt

Eva Wong

IceWhale author

Eva Wong ist die Technische Redakteurin und und leidenschaftliche Tüftlerin bei ZimaSpace. Eine lebenslange Geek mit einer Leidenschaft für Homelabs und Open-Source-Software, sie spezialisiert sich darauf, komplexe technische Konzepte in zugängliche, praktische Anleitungenzu übersetzen. Eva ist der Meinung, dass Self-Hosting Spaß machen und nicht einschüchternd sein sollte. Durch ihre Tutorials befähigt sie die Community, Hardware-Setups zu entmystifizieren, vom Bau ihres ersten NAS bis hin zur Beherrschung von Docker-Containern.

Why Zero to MVP Runs 2–4 GB AI Models 24/7 on ZimaCube 2

Vielen Dank an Zero to MVP, der eine praktische Sichtweise auf kleine Sprachmodelle demonstriert. In seinem vollständigen Video argumentiert er, dass 2–4-GB-Modelle deutlich nützlicher werden, wenn sie als spezialisierte, dauerhaft verfügbare Werkzeuge betrachtet werden und nicht als schwächere Ersatzlösungen für die größten KI-Modelle.

Sein Setup verwendet einen ZimaCube 2 als leisen Heimserver, der lokale Modelle rund um die Uhr bereithalten und gleichzeitig die Dokumente speichern kann, mit denen diese Modelle arbeiten. Die Demonstrationen umfassen OCR, die automatische Zusammenfassung von Artikeln, die private Verarbeitung gesundheitsbezogener Informationen und die dateibasierte Übersetzung – Aufgaben, bei denen vorhersehbare Eingaben, wiederholte Anfragen, Datenschutz und ein geringer Overhead wichtiger sein können als maximale Modellfähigkeiten.

Hinweis zur Zusammenarbeit: Dieser Artikel basiert auf den von Zero to MVP demonstrierten Workflows und Modellbeispielen. Modellversionen, Dateigrößen, Laufzeitspeicherbedarf, Hardwareanforderungen, Softwarekompatibilität und Inferenzleistung können sich im Laufe der Zeit ändern. Die hier besprochenen KI-Tools für gesundheitsbezogene Anwendungen sind kein Ersatz für professionelle medizinische Beratung, Diagnose oder Behandlung.

Das Ergebnis: Kleine Modelle werden besonders interessant, wenn sie für klar eingegrenzte Aufgaben eingesetzt werden, die regelmäßig ausgeführt werden müssen. Statt ein einziges riesiges Modell mit allem zu beauftragen, kann ein Heimserver mehrere kompakte Modelle für OCR, Zusammenfassungen, Übersetzungen oder andere spezialisierte Hintergrundaufgaben bereithalten.

Warum kleine KI-Modelle rund um die Uhr ausführen?

Bei Diskussionen über lokale KI steht oft die Frage im Mittelpunkt, welches möglichst große Modell ein Computer laden kann. Zero to MVP verfolgt einen anderen Ansatz. Für einen dauerhaft verfügbaren Workflow ist die wichtigere Frage, ob ein Modell eine klar definierte Aufgabe zuverlässig genug ausführen kann, um im Hintergrund verfügbar zu bleiben.

Ein 2–4-GB-Modell muss nicht bei jeder Art von Schlussfolgerung mit einem Modell der Frontier-Klasse konkurrieren. Stattdessen kann es zu einer spezialisierten Komponente innerhalb eines größeren Workflows werden: Text aus einem Dokument erkennen, einen Artikel zusammenfassen, eine Datei übersetzen oder Informationen lokal verarbeiten, bevor eine andere Anwendung das Ergebnis nutzt.

Dadurch verändert sich die Rolle des Modells: Aus einem gelegentlich genutzten Chatbot wird ein Dienst.

Wie sieht ein lokales 2–4-GB-Modell tatsächlich aus?

Die in der Ollama-Umgebung von Zero to MVP installierten Modelle zeigen, wie kompakt dieser Ansatz sein kann. Im Terminal werden vier Modelle mit einer Größe von etwa 2,1 bis 3,4 GB aufgelistet, die jeweils für unterschiedliche Aufgabentypen geeignet sind.

Ollama-Terminalauflistung der Modelle MedGemma 1.5, Granite 4.1 3B, GLM-OCR und Qwen 3.5 4B mit Größen zwischen 2,1 GB und 3,4 GB

Die Ollama-Bibliothek von Zero to MVP umfasst MedGemma 1.5, Granite 4.1 3B, GLM-OCR und Qwen 3.5 4B. Die angezeigten Modelldateien reichen von 2,1 GB bis 3,4 GB.

Angezeigtes Modell	Angezeigte Größe	Rolle im Workflow
MedGemma 1.5	3,3 GB	Lokale Verarbeitung gesundheitsbezogener Informationen.
Granite 4.1 3B	2,1 GB	Ein kompaktes universell einsetzbares Modell, das in der lokalen Modellbibliothek verfügbar ist.
GLM-OCR	2,2 GB	Wandelt gescannte Dokumente in maschinenlesbaren Text und Markdown um.
Qwen 3.5 4B	3,4 GB	Wird unter anderem für die Zusammenfassung von Artikeln und Übersetzungen verwendet.

Wichtig ist nicht, dass jedes Modell während der Ausführung exakt gleich viel Arbeitsspeicher belegt. Diese Zahlen beschreiben die von Ollama angezeigten Modelldateien. Laufzeitarbeitsspeicher, Kontext, Caching, das Betriebssystem und andere aktive Dienste bringen ihren eigenen Ressourcenbedarf mit sich.

Kleine Modelle sind ein anderes Werkzeug, nicht einfach nur kleinere große Modelle

Lokale KI wird häufig mit Desktop-Workstations und großen dedizierten GPUs in Verbindung gebracht. Diese Hardware ist sinnvoll, wenn die Arbeitslast größere Modelle, hohen Durchsatz oder anspruchsvolle Generierungsaufgaben erfordert.

Desktop-Workstation mit installierter Grafikkarte AMD Radeon Pro W7800

Eine Desktop-Workstation mit einer AMD Radeon PRO W7800 steht für den vertrauteren Hochleistungsansatz bei lokaler KI-Hardware.

Ein Hintergrunddienst, der einfache, sich wiederholende Anfragen empfängt, stellt jedoch andere Anforderungen. Ein kleines spezialisiertes Modell auf bescheidener Hardware bereitzuhalten, kann sinnvoller sein, als für jeden OCR-Auftrag, jede Übersetzungsanfrage oder jede kurze Zusammenfassung eine leistungsstarke Workstation zu reservieren.

Zwei kompakte Computer mit Kühlkörpern stehen auf einem Schreibtisch neben einer Tastatur.

Kompakte Computerhardware veranschaulicht die andere Seite des Spektrums lokaler KI: Spezialisierte kleine Modelle können nützliche KI-Dienste ermöglichen, ohne für jede Aufgabe einen vollständigen Desktop-Computer der Workstation-Klasse bereitzustellen.

Großes universell einsetzbares Modell	Kleines spezialisiertes Modell
Entwickelt für eine breite Palette offener Prompts.	Kann einer enger gefassten und besser vorhersehbaren Aufgabe zugewiesen werden.
Profitiert häufig von mehr Arbeitsspeicher und Ressourcen für Beschleuniger.	Kann mit einem geringeren Bedarf an Hardware und Arbeitsspeicher betrieben werden.
Nützlich, wenn anspruchsvolle Schlussfolgerungen oder umfassende Fähigkeiten wichtig sind.	Nützlich, wenn derselbe einfache Vorgang wiederholt ausgeführt werden muss.
Kann für einfache Hintergrundverarbeitung überdimensioniert sein.	Kann als dauerhafter Dienst mit geringerem Overhead verfügbar bleiben.

Kleines Modell bedeutet nicht null Ressourcenaufwand

Die geringe Dateigröße sollte nicht mit einem Laufzeitaufwand von null verwechselt werden. Der Systemmonitor von Zero to MVP liefert eine nützliche Realitätsprüfung, während Ollama aktiv ist.

htop-Terminal mit der CPU- und Speichernutzung von Ollamas llama-server, während ein lokales KI-Modell ausgeführt wird

Der Live-Systemmonitor zeigt, dass Ollamas llama-server während der Ausführung CPU und mehrere Gigabyte Speicher beansprucht. Das verdeutlicht, dass eine kleine Modelldatei zusätzliche Laufzeitressourcen benötigt.

In der aufgezeichneten Arbeitslast meldet das System ungefähr 7,8 GB Gesamtspeicher, von denen mehrere Gigabyte belegt sind, während ein Ollama llama-server Der Prozess beansprucht einen erheblichen Anteil des Arbeitsspeichers und der CPU-Zeit.

Diese Unterscheidung ist bei der Planung eines dauerhaft laufenden Servers wichtig. Eine Modelldatei mit 3,4 GB sollte nicht so verstanden werden, dass 3,4 GB System-RAM für den gesamten Rechner ausreichen. Das Betriebssystem, die Inferenz-Laufzeit, der Kontext, Caches, Speicherdienste und alle anderen selbst gehosteten Anwendungen benötigen weiterhin ausreichend Ressourcen.

Der Vorteil des kleineren Modells ist daher der überschaubare Ressourcenbedarf, nicht eine vollständig ressourcenfreie Inferenz.

Vier Aufgaben, für die sich dauerhaft laufende kleine Modelle eignen

Zero to MVP zeigt vier Workflows, die eine wichtige Eigenschaft gemeinsam haben: Sie sind klarer abgegrenzt als ein unbefristeter, universell einsetzbarer Assistent. Dadurch eignen sie sich gut für spezialisierte Modelle, die dauerhaft auf einem Heimserver aktiv bleiben können.

1. Gescannte PDFs mit GLM-OCR in Markdown umwandeln

Der erste Workflow verwendet GLM-OCR, um gescannte PDFs in Markdown umzuwandeln. OCR ist ein nützliches Beispiel, weil das Ziel klar definiert ist: visuelle Dokumentinhalte in maschinenlesbaren Text umzuwandeln, der gespeichert, durchsucht, indiziert, zusammengefasst oder von einer anderen Anwendung verarbeitet werden kann.

Sobald OCR als serverseitiger Dienst verfügbar ist, muss ein Workflow nicht mit einem manuellen Chatbot-Gespräch beginnen. Ein Dokument kann in einen Ordner gelangen, automatisch verarbeitet werden und die OCR-Phase als strukturierter Text verlassen.

Das ist besonders nützlich, wenn der Heimserver die Quell-PDFs bereits speichert. Speicherung und Dokumentverarbeitung können in derselben lokalen Umgebung stattfinden, anstatt Dateien wiederholt an einen externen Dienst hochzuladen.

2. Artikel mit Qwen 3.5 4B automatisch zusammenfassen

Das zweite Beispiel verwendet Qwen 3.5 4B zur Zusammenfassung von Artikeln. Die Zusammenfassung veranschaulicht, warum Wiederholbarkeit bei bestimmten Arbeitslasten wichtiger ist als maximale Intelligenz.

Wenn das Ziel darin besteht, eingehende Artikel kontinuierlich in kürzere Notizen umzuwandeln, kann ein kompaktes Modell zu einer Stufe in einer automatisierten Pipeline werden:

Einen Artikel empfangen oder speichern.
Den Text extrahieren.
Den Text an das lokale Modell senden.
Eine kürzere Zusammenfassung erstellen.
Das Ergebnis zum späteren Lesen, Indizieren oder Durchsuchen speichern.

Für diese Art von Workflow ist die Verfügbarkeit entscheidend. Ein kleines Modell, das bereits lokal ausgeführt wird, kann wiederkehrende Aufgaben verarbeiten, ohne dass jemand für jedes Dokument manuell eine KI-Oberfläche öffnen muss.

3. Gesundheitsbezogene Informationen mit MedGemma lokal halten

Zero to MVP demonstriert MedGemma außerdem als privaten lokalen Assistenten für gesundheitsbezogene Informationen. Der entscheidende Vorteil liegt hier nicht einfach in der Modellgröße, sondern darin, wo die Daten verarbeitet werden.

Wenn die Inferenz auf Hardware unter der Kontrolle des Benutzers ausgeführt wird, kann dies die Notwendigkeit verringern, persönliche Dokumente für routinemäßige Organisations-, Extraktions- oder Zusammenfassungsaufgaben an einen entfernten Chatbot zu senden.

Dadurch wird ein lokales Modell jedoch nicht zum Arzt. Die Modellausgabe kann unvollständig, ungenau oder irreführend sein, und gesundheitsbezogene Entscheidungen sollten weiterhin von qualifizierten medizinischen Fachkräften getroffen werden. Die nützliche Rolle des lokalen Modells besteht darin, als Werkzeug zur Informationsverarbeitung zu dienen, insbesondere wenn Datenschutz ein wichtiger Bestandteil des Workflows ist.

4. Automatische Übersetzung mit Qwen 3.5 4B ausführen

Die Übersetzungsdemonstration zeigt vielleicht am deutlichsten, wie ein kleines Modell als Hintergrunddienst arbeitet. Anstatt Übersetzungen als Chatsitzung zu behandeln, kann der Workflow anhand von Dateien und Ordnern organisiert werden.

Das Beispiel von Zero to MVP zeigt ein Übersetzungsverzeichnis auf dem lokalen Server mit separaten Eingabe- und Ausgabeordnern. Eine japanische Textdatei kann anschließend als Ergebnis dieser Verarbeitungspipeline angezeigt werden.

Japanische Textdatei, die aus einem Übersetzungsordner auf dem lokalen Heimserver zimacube2-local angezeigt wird

Eine übersetzte japanische Textdatei wird geöffnet vom zimacube2-local Server, hinter dem separate Eingabe- und Ausgabeverzeichnisse als Teil des dateibasierten Übersetzungs-Workflows sichtbar sind.

Übersetzungen eignen sich besonders gut für Spezialisierung, da sowohl die Eingabe als auch die erwartete Ausgabe klar begrenzt sind. Wenn der Zweck darin besteht, Dokumente wiederholt in eine bekannte Zielsprache zu übersetzen, benötigt das System möglicherweise nicht für jede Anfrage das umfassendste verfügbare Reasoning-Modell.

Warum der ZimaCube 2 zu dieser Art von Hintergrund-KI passt

Das Modell ist nur eine Ebene eines dauerhaft verfügbaren Workflows. Der Server muss außerdem Quelldateien speichern, Anwendungen am Laufen halten, diese Dienste für andere Geräte bereitstellen und über lange Zeit praktisch zu bedienen sein.

Zero to MVP beschreibt seine ZimaCube 2 als ein dauerhaft eingeschaltetes System mit geringem Stromverbrauch, reichlich Laufwerkskapazität für die von seinen Modellen verarbeiteten Daten und einem leisen Betrieb, der sich für die kontinuierliche Nutzung eignet.

Diese Kombination ist für Workflows mit kleinen Modellen besonders relevant, da der KI-Dienst direkt neben den benötigten Dateien ausgeführt werden kann. PDFs, die auf OCR warten, Artikel, die zusammengefasst werden sollen, private Dokumente und Übersetzungsaufträge können in derselben Heimserver-Umgebung bleiben, in der auch die Modelle laufen.

ZimaCube 2 bietet außerdem einen Erweiterungspfad für Nutzer, deren KI-Workloads später wachsen. So können Sie mit leichterer lokaler Inferenz beginnen und bei Bedarf Beschleuniger-Hardware hinzufügen, wenn ein größeres Modell oder ein höherer Durchsatz den zusätzlichen Stromverbrauch und die Kosten rechtfertigt.

Eine ausführlichere Betrachtung dieses Erweiterungsansatzes finden Sie im ZimaSpace-Leitfaden zu lokalen KI-Betrieb mit ZimaCube 2. Darin geht es um Ollama, PCIe-Erweiterungen und den Upgrade-Pfad von CPU-basierten Workloads zu GPU-gestützter Inferenz.

Kleine Modelle funktionieren am besten als Hintergrundprozesse

Die vier Demonstrationen weisen auf ein umfassenderes Entwurfsmuster hin. Ein kleines Modell wird besonders wertvoll, wenn Nutzer nicht mehr erwarten, dass es wie ein universeller Assistent handelt, sondern es stattdessen in einen eng umrissenen Prozess integrieren.

Dieser Prozess könnte folgendermaßen aussehen:

Überwachen: Einen Ordner oder eine Anwendung auf neue Eingaben überwachen.
Verarbeiten: Die Eingabe an ein für diese Aufgabe ausgewähltes Modell senden.
Validieren: Prüfen, ob das Ergebnis die erwartete Struktur oder Qualität aufweist.
Speichern: Die Ausgabe wieder auf dem lokalen Server speichern.
Wiederholen: Den Dienst für die nächste Anfrage verfügbar halten.

Deshalb bedeutet der Ausdruck „24/7-KI“ nicht unbedingt, dass kontinuierlich Tokens generiert werden. Er kann auch bedeuten, dass mehrere leichtgewichtige Dienste jederzeit bereitstehen, sobald ein neues Dokument, ein Artikel oder ein Übersetzungsauftrag eintrifft.

Wann sollten Sie ein kleines Sprachmodell wählen?

Gegen Ende des Videos fasst Zero to MVP sechs Bedingungen zusammen, unter denen kleine Modelle besonders vorteilhaft sind. Zusammen bilden sie eine nützliche Entscheidungshilfe für die Wahl zwischen einem kompakten lokalen Modell und einer größeren Alternative.

Folie mit sechs Vorteilen kleiner KI-Modelle: Datenschutz, Offline-Nutzung, leistungsschwache Hardware, einfache Anfragen, geringere Kosten und Spezialisierung

Zero to MVP fasst sechs Situationen zusammen, in denen kleine Modelle besonders nützlich sind: lokale und private Verarbeitung, Offline-Betrieb, leistungsschwache Hardware, viele einfache Anfragen, Kostenminimierung und Spezialisierung.

Kleine Modelle sind besonders nützlich, wenn …	Warum das wichtig ist
Lokale und private Verarbeitung ist wichtig	Daten können innerhalb eines selbst gehosteten Workflows bleiben, statt für jede Anfrage an ein entferntes Modell gesendet zu werden.
Es besteht keine Internetverbindung	Ein lokal verfügbares Modell kann unterstützte Aufgaben weiterhin bearbeiten, ohne auf einen Cloud-Inferenzendpunkt angewiesen zu sein.
Die Hardware verfügt nur über begrenzte Ressourcen	Kleinere Modelldateien und geringere Laufzeitanforderungen können lokale Inferenz auch auf weniger leistungsfähigen Systemen praktikabel machen.
Es gibt viele einfache Anfragen	Ein dauerhaft geladenes Modell kann einen eng gefassten Vorgang wiederholt bearbeiten, ohne für jede Aufgabe ein deutlich größeres Modell zu verwenden.
Die Kosten müssen minimiert werden	Die Nutzung lokaler Hardware für sich wiederholende Workloads kann die Abhängigkeit von gehosteten Inferenzdiensten pro Anfrage verringern, auch wenn Strom und Hardware weiterhin Kosten verursachen.
Die Aufgabe kann spezialisiert sein	Ein für eine bestimmte Aufgabe ausgewähltes Modell muss nicht jede Kategorie von Schlussfolgerungen gleichermaßen gut beherrschen.

Was dieses Experiment zeigt – und was nicht

Die Demonstration zeigt	Das garantiert es nicht
Nützliche lokale Modelle können auf der Festplatte nur wenige Gigabyte belegen.	Ein 2–4-GB-Modell benötigt während des Betriebs nur 2–4 GB Gesamtsystemspeicher.
Kleine Modelle können OCR, Zusammenfassungen, Übersetzungen und andere fokussierte Aufgaben ausführen.	Ein kompaktes Modell kann bei jeder komplexen oder offenen Eingabeaufforderung mit einem wesentlich größeren Modell mithalten.
Mehrere spezialisierte Modelle können auf einem lokalen Server nebeneinander ausgeführt werden.	Jedes Modell muss ständig gleichzeitig im Arbeitsspeicher geladen bleiben.
Dateibasierte KI-Workflows können ohne ständige manuelle Eingaben ausgeführt werden.	Jede generierte Ausgabe ist ohne Überprüfung genau genug für die Verwendung.
Lokale Verarbeitung kann unnötige Datenweitergabe an externe Stellen reduzieren.	Eine lokale Bereitstellung ist automatisch sicher, nur weil sie zu Hause ausgeführt wird.
Kleine Modelle können die Hardwareanforderungen für nützliche lokale KI senken.	Leistungsstarke GPUs und größere Modelle spielen bei anspruchsvollen Workloads keine Rolle mehr.

Aufgaben statt Modell-Ranglisten

Die wichtigste Erkenntnis aus dem Experiment von Zero to MVP ist nicht, dass kleine Modelle besser sind als große Modelle. Sie lautet, dass die Modellauswahl bei der Aufgabe beginnen sollte.

Wenn die Aufgabe anspruchsvolle Schlussfolgerungen über unbekannte Fachbereiche hinweg, komplexe Programmierung oder eine stark offene Interaktion erfordert, kann ein größeres Modell seinen zusätzlichen Ressourcenbedarf rechtfertigen. Wenn es bei der Aufgabe jedoch um OCR, vorhersehbare Zusammenfassungen, routinemäßige Übersetzungen, Klassifizierung, Extraktion oder einen anderen wiederkehrenden Vorgang geht, ist ein kleineres spezialisiertes Modell möglicherweise das praktischere Werkzeug.

Die entscheidende Frage lautet nicht mehr: „Welches ist das intelligenteste Modell, das ich ausführen kann?“, sondern: „Was ist das kleinste Modell, das diese konkrete Aufgabe zuverlässig erledigt?“

Dieser Ansatz kann einen ständig aktiven Home-Server deutlich nützlicher machen. Statt darauf zu warten, dass ein Nutzer eine KI-Sitzung startet, kann der Server Dateien und Anfragen unauffällig als Teil der bereits laufenden Infrastruktur verarbeiten.

Eine dauerhaft verfügbare lokale KI-Arbeitsumgebung aufbauen

Das Setup von Zero to MVP zeigt, wie sich Speicher und KI ergänzen können. Das NAS speichert die Informationen, während kleine lokale Modelle spezialisierte Verarbeitung in unmittelbarer Nähe dieser Daten ermöglichen.

Mit einem System wie ZimaCube 2 kann dieselbe Maschine als Heimspeicherplattform, selbst gehosteter Anwendungsserver und Grundlage für dauerhafte KI-Workflows dienen. Nutzer können mit kleineren Modellen beginnen und die Hardware später erweitern, wenn ihre Anforderungen zu größeren Modellen oder schnellerer GPU-gestützter Inferenz tendieren.

Wenn du erkundest, wie Speicher und lokale Intelligenz zusammenarbeiten können, zeigt der ZimaSpace-Leitfaden zu KI-NAS-Workflows einen weiteren Ansatz, um Dokumentenspeicherung, Indizierung und lokale KI-Verarbeitung auf ZimaCube 2 zu kombinieren.

Du kannst auch den Leitfaden zur GPU-Einrichtung für lokale KI lesen, wenn dein Arbeitsaufkommen über kompakte Modelle hinauswächst und du verstehen möchtest, wie sich ZimaCube 2 für GPU-gestützte Inferenz erweitern lässt.

Sieh dir das vollständige Video von Zero to MVP an, um die Workflows für OCR, Zusammenfassungen, MedGemma und Übersetzungen im Kontext zu sehen und zu erfahren, nach welchen Kriterien er entscheidet, wann ein kleines Modell das richtige Werkzeug ist.

Möchtest du lokale KI-Workflows, die Wahl der Modelle und selbst gehostete Server-Builds mit anderen Nutzern vergleichen? Tritt der ZimaSpace-Discord-Community bei, um weitere Projekte rund um Home-Server und lokale KI zu entdecken.