Der Xiaomi AI Cube führt ein 120B-Modell lokal aus – ist dies die Zukunft des persönlichen KI-Computers?

Der Xiaomi AI Cube ist ein Desktop-KI-Computer-Prototyp, der auf einer ungewöhnlichen Idee basiert: In ein 150-W-Gehäuse sollen genügend Speicher und spezialisierte lokale Rechenleistung gepackt werden, damit sowohl ein 120B-Modell als auch ein deutlich kleineres 3B-Modell lokal verfügbar bleiben. Xiaomi hat 80 GB gemeinsamen Speicher, drei XRING-Prozessoren – O3, O100 und D100 – sowie ein schnelles/langsames Umschalten zwischen Modellen für Arbeitslasten wie Frontend-Entwicklung und komplexe Programmierung bestätigt.

Doch „120B lokal ausführen“ ist eine Kapazitätsangabe und kein vollständiger Leistungsbenchmark. Xiaomi hat weder die vollständige Speicherarchitektur des Cube noch die Quantisierung des 120B-Modells, den nutzbaren Kontext, die Generierungsgeschwindigkeit, die Softwarekompatibilität, den Preis oder das Datum der Markteinführung veröffentlicht. Derzeit ist der AI Cube eher als Vorschau auf eine neue Architektur für persönliche KI-Computer interessant denn als fertiges Produkt, das Käufer bewerten können.

Was ist der Xiaomi AI Cube?

Der Xiaomi AI Cube ist ein Engineering-Prototyp, der drei hauseigene XRING-Prozessoren mit 80 GB gemeinsamem Speicher für die lokale Inferenz großer Modelle kombiniert.

Xiaomis öffentliche Beschreibung kann im offiziellen Beitrag zum AI-Cube-Prototyp eingesehen werden.

Die Zahl 120B erregt Aufmerksamkeit, doch die nützlichere Frage lautet, was erforderlich ist, um ein Modell dieser Größe auf einem Schreibtisch praktikabel zu machen.

Warum ist der lokale Betrieb eines 120B-Modells eine so große Sache?

Ein Modell mit 120 Milliarden Parametern stellt sofort ein Speicherproblem dar.

Bei 16-Bit-Präzision würden allein die Rohgewichte ungefähr Folgendes benötigen:

120B × 2 Bytes ≈ 240 GB

Bei 8-Bit-Präzision sinkt dieser Wert auf etwa 120 GB, während 4-Bit-Gewichte vor dem Laufzeit-Overhead ungefähr 60 GB benötigen.

Damit erscheint ein 80-GB-System für ein stark quantisiertes 120B-Modell plausibel, doch das Unterbringen der Gewichte ist nur ein Teil der Bereitstellung.

Die Inferenz benötigt außerdem Speicher für:

• Quantisierungsmetadaten,
• Laufzeitpuffer,
• KV-Cache,
• Kontext-Token,
• Systemsoftware,
• und möglicherweise multimodalem Zustand.

Das Anpassen eines Modells ist nicht dasselbe wie der Betrieb mit nützlicher Geschwindigkeit und ausreichendem Kontext.

Aus demselben Grund hängen praktische Hardwareanforderungen für lokale KI von Modellgröße, Quantisierung, Kontext und Parallelität ab und nicht von einer einzigen einfachen RAM-Angabe.

Kann ein Unified Memory von 80 GB tatsächlich ein 120B-Modell ausführen?

Ja, ein quantisiertes 120B-Modell kann plausibel in ein Speicherbudget der 80-GB-Klasse passen. Xiaomi hat jedoch noch nicht genügend Informationen veröffentlicht, um den tatsächlich nutzbaren Kontext oder den Durchsatz des Cubes zu berechnen.

Zu den offenen Variablen gehören:

• die genaue Version des 120B-Modells,
• Quantisierungsformat,
• nutzbare Kontextlänge,
• Zeit bis zum ersten Token,
• Generierungsgeschwindigkeit,
• und ob die 3B- und 120B-Modelle gleichzeitig im Speicher bleiben.

Ein Modell, das zwar technisch geladen wird, aber mit unbrauchbar niedriger Geschwindigkeit Text generiert, ist etwas völlig anderes als ein reaktionsschneller persönlicher Assistent. Lange Kontexte und mehrere gleichzeitig ausgeführte Agenten können ebenfalls beträchtlichen zusätzlichen Speicher benötigen.

Diese Unterscheidung zwischen der Unterbringung eines Modells und seinem tatsächlich nutzbaren Betrieb ist besonders wichtig, da größere Open-Source-Modelle zunehmend auf Heimhardware eingesetzt werden. Ähnliche Einschränkungen treten bei aktuellen KI-Workloads auf Heimservern auf: Dass ein Modell einfach geladen werden kann, garantiert noch keine gute Always-on-Erfahrung.

Verfügt der Xiaomi AI Cube wirklich über eine Speicherbandbreite von 1,22 TB/s?

Xiaomi hat für den XRING-O100-Beschleuniger eine Near-Memory-Bandbreite von 1,22 TB/s veröffentlicht. Das beweist jedoch nicht, dass der gesamte 80-GB-Speicherpool des AI Cube mit 1,22 TB/s arbeitet.

Diese Unterscheidung ist zu einer der wichtigsten technischen Fragen rund um den Prototyp geworden.

Der O100 ist als KI-Beschleuniger mit hoher Bandbreite und 3D-Wafer-Level-Stacking positioniert. Der D100 ist ein separater KI-Prozessor mit hoher Rechenleistung und Unterstützung für deutlich größere Speicherkonfigurationen, während der O3 das universell einsetzbare SoC ist.

Xiaomi hat noch kein Speicherblockdiagramm veröffentlicht, das Folgendes erklärt:

• wie der 80-GB-Pool verteilt ist,
• welcher Chip welchen Speicher besitzt,
• welcher Teil auf den Pfad mit der höchsten Bandbreite des O100 zugreifen kann,
• Chip-zu-Chip-Bandbreite,
• wo die Gewichte des 120B-Modells liegen,
• oder wo der KV-Cache gespeichert wird.

Die verfügbaren Prozessorspezifikationen sind in den Start-Spezifikationen von Xiaomi XRING zusammengefasst.

Nutzer lokaler KI bemerkten dieselbe Unklarheit fast sofort. Eine ausführliche LocalLLaMA-Diskussion zum AI Cube konzentrierte sich stark darauf, wie sich die Bandbreite des O100 zu D100 und dem größeren Speicherpool des Cube verhält.

Bis Xiaomi die Topologie veröffentlicht, ist die sicherste Interpretation einfach: 1,22 TB/s ist eine Spezifikation des O100 und keine bestätigte Bandbreitenangabe für jedes Byte des 80-GB-Speichers des AI Cube.

Warum ist die Speicherbandbreite für lokale KI wichtig?

Bei der Inferenz großer Modelle werden Modelldaten wiederholt durch den Speicher bewegt, während Tokens generiert werden. Das bedeutet, dass die Rechenleistung des Beschleunigers nur ein Teil der Leistung ist.

Ein Gerät kann enorme TOPS-Werte angeben und trotzdem darauf warten, dass die Daten seine Recheneinheiten erreichen. Die Decodierung Token für Token kann daher stark von der Speicherbandbreite abhängen.

Deshalb ist die Architektur des O100 interessant, obwohl sein 6-nm-Prozess weniger fortschrittlich klingt als Xiaomis neuere Chips. Sein Design zielt auf KI-Arbeitslasten mit hoher Bandbreite und speichernahem Zugriff ab, statt lediglich die nominelle Rechenleistung zu maximieren.

Bei lokalen LLMs kann die Speicherbandbreite manchmal mehr über die praktische Inferenz aussagen als eine gigantische TOPS-Zahl.

Die tatsächliche 120B-Leistung des Cube bleibt jedoch unbekannt, bis Xiaomi Systembenchmarks statt einzelner Chip-Spezifikationen veröffentlicht.

Warum ein 3B-Modell ausführen, wenn der Xiaomi AI Cube 120B ausführen kann?

Das kleine 3B-Modell könnte tatsächlich mehr über die Architektur des AI Cube verraten als das viel prominentere 120B-Modell.

Für jede Anfrage das größte verfügbare Modell zu verwenden, würde Latenz, Speicherbandbreite und Energie für Aufgaben verschwenden, die kein Reasoning auf Frontier-Niveau erfordern.

Ein kleines Modell kann potenziell Routineaufgaben wie die folgenden übernehmen:

• Absichtserkennung,
• Klassifizierung,
• Routing,
• kurze Transformationen,
• Metadatenextraktion,
• Dateitagging,
• und ressourcenleichte Hintergrundaufgaben.

Das größere Modell kann dann für anspruchsvollere Aufgaben wie komplexes Programmieren, Planung, schwierige Schlussfolgerungen und die Synthese längerer Texte reserviert werden.

Das ergibt eine nützliche Architektur:

kleines lokales Modell für die Grundlast, größeres lokales Modell für die Eskalation.

Xiaomi hat schnelles/langsames Umschalten bestätigt, aber die tatsächliche Routing-Richtlinie nicht veröffentlicht. Daher wäre es Spekulation zu behaupten, dass bestimmte Aufgaben bereits dem 3B- oder 120B-Modell zugewiesen werden.

Die übergeordnete Idee ist für moderne lokale und Frontier-KI-Workloads bereits relevant: Das leistungsstärkste Modell muss nicht standardmäßig für jede Anfrage verwendet werden.

Warum benötigt der Xiaomi AI Cube drei verschiedene KI-Chips?

Eine herkömmliche lokale KI-Workstation kombiniert normalerweise eine Allzweck-CPU mit Arbeitsspeicher und einer oder mehreren dedizierten GPUs.

Der AI Cube kombiniert stattdessen drei Prozessoren mit unterschiedlichen öffentlich kommunizierten Aufgaben.

Das deutet auf heterogene lokale KI-Rechenleistung hin: unterschiedliches Silizium für unterschiedliche Workload-Eigenschaften, anstatt eine einzelne große GPU alles erledigen zu lassen.

Xiaomi hat jedoch noch keine Ausführungskarte auf Chip-Ebene veröffentlicht. Wir wissen noch nicht, ob O3 das kleine Modell ausführt, ob O100 eine bestimmte Inferenzstufe übernimmt oder ob D100 für die Ausführung des größeren Modells zuständig ist.

Das sind plausible technische Annahmen – keine bestätigten Implementierungsdetails.

Versucht der Xiaomi AI Cube, eine Alternative zum DGX Spark zu werden?

Architektonisch gehört der AI Cube in dieselbe aufkommende Kategorie wie der DGX Spark und Apple-Silicon-Systeme mit großem Speicher: persönliche Hardware, die ungewöhnlich große KI-Modelle in der Nähe des Nutzers ausführt.

Praktisch ist ein direkter Vergleich verfrüht.

Der Vorteil des DGX Spark liegt nicht einfach in der Hardware. NVIDIA bietet CUDA, ausgereifte Bibliotheken, Inferenz-Laufzeiten und ein etabliertes Entwickler-Ökosystem.

Damit geht es bei der nächsten Frage zum AI Cube weniger um Silizium als um Software.

Welche Software wird tatsächlich auf dem Xiaomi AI Cube laufen?

Hardwarekapazität allein macht noch keine nützliche lokale KI-Plattform aus.

Entwickler werden letztlich klare Antworten zur Unterstützung folgender Komponenten erwarten:

• llama.cpp,
• Ollama,
• vLLM,
• PyTorch,
• Linux-Entwicklungsumgebungen,
• Docker- oder Container-Workloads,
• GGUF und gängige Quantisierungsformate,
• mit OpenAI kompatible APIs,
• Fine-Tuning-Frameworks,
• und aktuelle Agent-Harnesses.

Xiaomi hat Coding-Workloads demonstriert, jedoch keine umfassende Kompatibilitätsmatrix von Drittanbietern für den AI Cube veröffentlicht.

Das ist wichtig, weil ein leistungsstarker Beschleuniger mit schwacher Laufzeitunterstützung weniger nützlich sein kann als langsamere Hardware mit ausgereiften Kernels, stabilen Treibern, einfacher Modellkonvertierung und einer großen Entwicklergemeinschaft.

Diese Sorge taucht auch in der LocalLLaMA-Diskussion immer wieder auf. Benutzer bewerten den AI Cube nicht nur anhand von 80 GB und 120B; sie fragen, ob XRING das Softwareökosystem entwickeln kann, das erforderlich ist, um diese Spezifikationen nutzbar zu machen.

Ein persönlicher KI-Computer benötigt eine Softwareplattform, nicht nur einen KI-Beschleuniger.

Ist der AI Cube ein PC, eine Workstation oder ein ständig laufender KI-Server?

Der AI Cube ist möglicherweise als persönliches KI-Rechengerät interessanter denn als herkömmlicher PC.

Ein herkömmlicher PC ist überwiegend interaktiv: Anwendungen laufen, wenn der Benutzer sie öffnet. Ein persönlicher KI-Knoten kann Modelle kontinuierlich verfügbar halten für:

• Coding-Agenten,
• Hintergrundinferenz,
• Dokumentenverarbeitung,
• private multimodale Analysen,
• lokale KI-APIs,
• RAG-Workflows,
• und lang laufende Automatisierung.

Dadurch verschieben sich die Hardwareprioritäten hin zu dauerhaftem Speicher, kontinuierlicher Kühlung, vorhersehbarer Inferenz, hoher Bandbreite und stabilen lokalen Diensten.

Auch deshalb ähneln aufkommende Local-First-KI-Agenten zunehmend eher Infrastruktur-Workloads als gewöhnlichen Desktop-Anwendungen.

Wenn der AI Cube der Rechenknoten ist: Wo befinden sich Ihre KI-Daten?

Ein dedizierter KI-Computer ersetzt nicht automatisch einen Heimserver oder ein NAS, da Inferenz und dauerhafte Datenhaltung unterschiedliche Aufgaben erfüllen.

Ein KI-Rechenknoten ist optimiert für:

• Modellgewichte,
• Speicher mit hoher Bandbreite,
• Beschleuniger,
• Inferenz mit geringer Latenz,
• und Reasoning-Workloads.

Eine dauerhaft laufende lokale Infrastruktur ist optimiert für:

• Dokumente,
• Fotos und Videos,
• Code-Repositories,
• RAG-Quelldateien,
• Vektordatenbanken,
• Agentengedächtnis,
• Protokolle,
• Backups,
• und ständig laufende Anwendungen.

Diese Unterscheidung ist wichtig, weil sich KI-Rechenleistung schneller verändert als persönliche Daten. Modelle, Beschleuniger und Laufzeitumgebungen werden möglicherweise alle paar Jahre ersetzt; Dateien, Projekthistorie und privates Wissen sollten stabil bleiben.

Dieselbe Trennung zeigt sich auch bei der Entscheidung, ob lokale KI und Dateispeicherung auf einer Maschine zusammengeführt oder auf spezialisierte Systeme verteilt werden sollten.

Ein persistenter Server kann außerdem die privaten Dateien, Retrieval-Indizes und den dauerhaften Kontext bereitstellen, die ein privater NAS-KI-Assistent nutzt, ohne dass dasselbe Gerät das größtmögliche Modell hosten muss.

Der AI Cube deutet darauf hin, dass die persönliche KI-Rechenleistung möglicherweise austauschbar wird, während persönliche KI-Daten dauerhaft erhalten bleiben.

Was wissen wir über den Xiaomi AI Cube noch nicht?

Es ist außerdem wichtig, Benchmark-Zahlen aus Xiaomis separater O100-Demonstration nicht mit dem AI Cube zu kombinieren.

Ein anderer O3- und O100-Prototyp demonstrierte einen hohen Token-Durchsatz bei einem deutlich kleineren MiMo-Workload. Das bedeutet nicht, dass der AI Cube sein 120B-Modell mit derselben Geschwindigkeit ausführt. Dieser Unterschied wird in Xiaomis Prototyp-Demonstrationen erläutert.

Muss der Xiaomi AI Cube günstig sein, um relevant zu sein?

Als Architekturdemonstration: nein. Als neue Kategorie des Personal Computing: absolut.

Wenn lokale KI-Hardware mit großem Speicher das Preisniveau hochwertiger Consumer-Workstations erreicht, könnte sie die lokale Inferenz von Modellen der 100B-Klasse für deutlich mehr Entwickler praktikabel machen.

Wenn der endgültige Preis ein Mehrfaches höher ausfällt, wird dieselbe Hardware eher zu einer spezialisierten KI-Workstation als zu einem persönlichen KI-Computer für den Massenmarkt.

Reddit-Nutzer spekulieren bereits intensiv über den Preis, aber Xiaomi hat noch keinen angekündigt. Solange es kein kommerzielles Produkt gibt, sollten Preisschätzungen Spekulation bleiben.

Das ist auch der Grund, warum langfristige Kostenvergleiche für lokale KI wichtiger sind als der reine Hardwarepreis: Auslastung, Modellgröße, Stromkosten und steigende Cloud-Kosten beeinflussen, ob dedizierte lokale Rechenleistung wirtschaftlich sinnvoll ist.

Ist der Xiaomi AI Cube die Zukunft des persönlichen KI-Computers?

Vielleicht architektonisch, selbst wenn der fertige persönliche KI-Computer nicht genau wie dieser Prototyp aussieht.

Die wichtigen Ideen sind:

• großer gemeinsamer Speicher, ausgelegt auf die Modellgewichte,
• KI-Beschleunigung mit hoher Bandbreite,
• heterogene Prozessoren,
• kleine und große Modelle gleichzeitig verfügbar,
• anhaltende statt ausschließlich kurzzeitig gebündelte Rechenleistung,
• lokale Ausführung von Modellen,
• und KI-Dienste, die kontinuierlich verfügbar bleiben.

Das ist bedeutender, als einfach eine NPU zu einem normalen PC hinzuzufügen und ihn als KI-PC zu bezeichnen.

Der AI Cube geht von der Modell-Workload aus und entwickelt die Maschine darauf abgestimmt.

Der Prototyp wirft weiterhin wichtige Fragen auf: Leistung bei 120B-Modellen, Speicherarchitektur, Softwareunterstützung, Preis und Verfügbarkeit. Die Architektur weist jedoch auf eine plausible Zukunft hin, in der lokale KI über eine eigene dedizierte Rechenschicht verfügt, während Dateien, Speicher und langfristiger Zustand auf persistenter lokaler Infrastruktur verbleiben.

Der persönliche KI-Computer ist möglicherweise kein PC, der gelegentlich KI ausführt. Er könnte ein stets verfügbarer lokaler Rechenknoten sein, der mehrere Modelle bereitstellt, während die dauerhaften Daten des Benutzers unabhängig davon bleiben, welcher Beschleuniger in diesem Jahr gerade am schnellsten ist.

FAQ: Xiaomi AI Cube und lokale 120B-Modelle

Kann der Xiaomi AI Cube ein 120B-Modell ohne Cloud ausführen?

Xiaomi zufolge kann der Prototyp ein 120B-Modell lokal bereitstellen. Das Unternehmen hat jedoch weder die genaue Quantisierung noch die Kontextlänge oder Laufzeitkonfiguration für diese Bereitstellung veröffentlicht.

Wie viel Speicher benötigt ein 120B-Modell?

Unkomprimierte 120B-Gewichte benötigen bei FP16 ungefähr 240 GB, bei 8 Bit 120 GB und bei 4 Bit etwa 60 GB, jeweils vor dem Laufzeit-Overhead. Der tatsächliche Speicherbedarf hängt außerdem von Quantisierungsmetadaten, KV-Cache, Kontextlänge und der Inferenzsoftware ab.

Unterstützt der Xiaomi AI Cube Ollama?

Xiaomi hat die Unterstützung für Ollama nicht öffentlich bestätigt. Die Kompatibilität mit Ollama, llama.cpp, vLLM und anderen verbreiteten Laufzeitumgebungen für lokale KI bleibt eine der größten offenen Softwarefragen.

Welches 120B-Modell verwendet der Xiaomi AI Cube?

Öffentliche Berichte haben den Prototyp mit Xiaomis MiMo-Modellfamilie in Verbindung gebracht, aber Xiaomis eigene öffentliche Beschreibung des AI Cube enthält keine vollständigen Angaben zu Modell, Version und Quantisierung.

Kann man den Xiaomi AI Cube kaufen?

Derzeit nicht. Der AI Cube wurde als Engineering-Prototyp vorgestellt, und Xiaomi hat weder einen Verkaufspreis noch ein Versanddatum für genau dieses Gerät angekündigt.

Ist der Xiaomi AI Cube ein Ersatz für ein NAS oder einen Heimserver?

Nicht unbedingt. Der AI Cube ist für KI-Inferenz mit hohem Speicherbedarf optimiert, während sich ein NAS oder Heimserver besser für persistente Dateien, RAG-Quellen, Datenbanken, Backups, Agentenzustände und andere dauerhaft laufende Dienste eignet. Die beiden Rollen können sich ergänzen.