Voer Maxwell-V1-Flash lokaal uit: vereisten voor RAM, VRAM en lange contexten

Eva Wong is de technisch schrijver en vaste knutselaar bij ZimaSpace. Als levenslange geek met een passie voor homelabs en open-sourcesoftwareis ze gespecialiseerd in het vertalen van complexe technische concepten naar toegankelijke, praktische handleidingen. Eva vindt dat self-hosting leuk moet zijn en niet intimiderend. Met haar tutorials helpt ze de community om hardware-installaties te doorgronden, van het bouwen van hun eerste NAS tot het beheersen van Docker-containers.

Om Maxwell-V1-Flash lokaal te draaien, heb je ongeveer 73,6 GB aan oorspronkelijke checkpointbestanden, een compatibele NVIDIA-GPU-omgeving en voldoende extra geheugen nodig voor de runtime en gesprekscache. Het cijfer van 3B actieve parameters beschrijft welke experts voor elk token worden gebruikt; het betekent niet dat je het volledige model als download van 3B krijgt. Voor de oorspronkelijke gewichten is een GPU-klasse van 96 GB een realistischer uitgangspunt dan een consumentenkaart van 24 GB, terwijl een volledige context van 256K een afzonderlijk geheugenbudget vereist.

Deze gids maakt onderscheid tussen geverifieerde modelspecificaties en planningsinschattingen, legt uit waarom sparse attention bij lange contexten nog steeds geheugen verbruikt en beschrijft de lokaal gehoste route die door de ontwikkelaar is gedocumenteerd. Ook wordt aangegeven hoe een ZimaCube 2 deze workflow kan ondersteunen, zonder te suggereren dat een compacte NAS een inferentieserver met veel geheugen kan vervangen. De specificaties en implementatie-instructies zijn gecontroleerd op 18 november 2026; de configuraties hieronder zijn inschattingen, geen gemeten minimumvereisten.

Wat is Maxwell-V1-Flash en welke specificaties zijn van invloed op je hardware?

De repository van het Maxwell Team heet Maxwell-V1-Flash, terwijl de modelkaart het model Maxwell-V1.0-Flash noemt. Het is een tekstgebaseerd taalmodel met open gewichten en een mixture-of-experts-architectuur, uitgebracht onder Apache 2.0. Volgens de officiële beschrijving heeft het model 35B parameters in totaal en 3B actieve parameters per token, beide exclusief embeddings. Die uitsluitingen zijn van belang wanneer je het vermelde aantal parameters vergelijkt met de daadwerkelijke bestanden die je moet downloaden.

Geverifieerde specificaties Wat dit betekent voor lokale implementatie
35B totaal / 3B actief, exclusief embeddings Minder actieve berekeningen nemen de opslag- en geheugenvereisten voor de expertgewichten niet weg.
45 backbone-lagen; 32 query-heads en 4 KV-heads; head-dimensie 128 Deze dimensies bepalen een bruikbare basisinschatting voor de belangrijkste attention-cache.
256 gerouteerde experts; 12 geselecteerd per token; 2 gedeelde experts per MoE-laag Expertroutering vereist architectuurondersteuning in de inferentie-engine.
256K-context vermeld in de modelkaart Lange prompts vereisen extra cache, prefill-tijd en ruimte voor gegenereerde uitvoer.
Bloksparse attention en manifold-beperkte hyperverbindingen Een runtime die een ander MoE-model ondersteunt, is niet automatisch compatibel.
73.625.607.468 bytes aan officiële safetensors-bestanden Ongeveer 73,6 decimale GB, of 68,6 GiB, vóór toewijzingen voor de runtime.

Deze gegevens zijn afkomstig van de officiële modelkaart, de gepubliceerde configuratie en de metadata van de checkpointbestanden. Op de kaart staat BF16 als de belangrijkste precisie voor de gewichten, terwijl de repository zowel BF16- als F32-tensors bevat. De bestandsgrootte is daarom een betere schatting van de downloadomvang dan het afgeronde, vermelde aantal parameters vermenigvuldigen met twee bytes.

Officiële merkillustratie van Maxwell uit de modelrepository van Maxwell-V1-Flash
De officiële merkillustratie van Maxwell. De naam van de repository is Maxwell-V1-Flash; op de modelkaart staat Maxwell-V1.0-Flash. Bron: officiële modelkaart van Maxwell-V1-Flash.

Hoeveel RAM, VRAM en opslagruimte moet je inplannen?

In de implementatie-instructies die we hebben gecontroleerd, staat geen door de ontwikkelaar gepubliceerde tabel met minimale RAM-vereisten. De volgende configuraties zijn praktische richtwaarden, afgeleid van de omvang van het checkpoint en de berekeningen voor de cache. Het zijn geen geteste configuraties; de GPU-architectuur, compatibiliteit van de kernels en het geheugengebruik dat de runtime daadwerkelijk rapporteert, blijven doorslaggevend.

Workload Doel voor systeem-RAM Doel voor GPU-geheugen Opslagruimte
Eén gebruiker, oorspronkelijke gewichten, eerste test met 8K–16K tokens 128 GB Klasse van 96 GB; een kaart van 80 GB is een krappe configuratie die validatie vereist Minstens 150 GB vrije ruimte op lokale NVMe-opslag
Eén gebruiker, codeer- of documentsessies van 32K–64K tokens 128–192 GB Klasse van 96 GB of een gevalideerde configuratie met meerdere GPU's, met gemeten ruimte voor de cache 200–300 GB vrije ruimte voor gewichten, containerlagen, logs en revisies
Sessies van 128K–256K tokens of meerdere actieve gebruikers 192–256 GB als operationeel doel Plan op meer dan 96 GB bruikbare VRAM in totaal; 128–160 GB of meer biedt een realistischer budget, afhankelijk van ondersteuning door de parallelle runtime 300 GB of meer vrije ruimte; bewaar een aparte back-up

RAM en VRAM hebben verschillende functies. Systeem-RAM ondersteunt het laden, bestandscaching, voorbewerking en andere services. GPU-VRAM bevat het residentiële model, de attention-cache, activaties, tijdelijke werkruimtes en runtime-toewijzingen. Door 128 GB host-RAM toe te voegen, wordt een GPU van 24 GB niet automatisch geschikt om het oorspronkelijke checkpoint te draaien.

Ook zijn de RAM-doelen aanbevelingen voor extra capaciteit, geen bewering dat elke loader een volledige extra modelkopie in het geheugen moet houden. Streaming en memory-mapped laden kunnen de piek in het hostgeheugen veranderen. Begin met een moderne Linux-machine met x86-64, ongeveer 12–16 capabele CPU-kernen voor de overige taken, een ondersteunde NVIDIA-GPU en lokale NVMe-opslag. Het CPU-model en het aantal kernen zijn hier minder belangrijk dan het GPU-geheugen en de compatibiliteit van de software.

Een accelerator van 80 GB heeft mogelijk ruimte voor de oorspronkelijke gewichten en een kleine cache, maar dat betekent niet dat elke GPU van 80 GB hiervoor geschikt is. Een deel van het geheugen is gereserveerd of wordt door de runtime gebruikt, en aangepaste kernels kunnen aanvullende architectuurvereisten hebben. Controleer of de specifieke kaart geschikt is voor de image van de ontwikkelaar en meet een test met een korte context voordat je hier hardware voor aanschaft.

Waarom heeft sparse attention bij een context van 256K nog steeds geheugen nodig?

Maxwell Block Sparse Attention, of MBSA, selecteert een beperkt aantal blokken voor de hoofdaandachtsberekening. Volgens de officiële uitleg gaat het om acht prefixblokken, acht lokale blokken en maximaal zestien op afstand geselecteerde blokken, elk met 128 tokens. In de sparse modus is het geselecteerde bereik voor de hoofdaandacht daarmee beperkt tot 4.096 tokens per KV-groep.

De KV-cache met de volledige context blijft beschikbaar. De geselecteerde blokken beperken het aandachtswerk; dat betekent niet dat er slechts 4.096 tokens worden opgeslagen. De referentie-implementatie houdt ook indexersleutels bij. Dit is het belangrijkste onderscheid bij het bepalen van de benodigde hardware voor lange gesprekken of analyse van codeopslagplaatsen.

Ter oriëntatie: een conventionele berekening van de hoofd-KV-cache in BF16 op basis van de gepubliceerde backbone-afmetingen:

45 lagen × 2 (K en V) × 4 KV-heads × 128 dimensies
× 2 bytes × gecachete tokens × onafhankelijke reeksen
Gecachete tokens, één reeks Alleen ter illustratie: de hoofd-K/V-payload Praktische betekenis
8,192 0,70 GiB Een verstandig eerste inferentietest.
32,768 2,81 GiB Vereist al extra ruimte naast de gewichten.
65,536 5,63 GiB Lange codesessies beginnen een aanzienlijk deel van het geheugenreservoir in beslag te nemen.
131,072 11,25 GiB Zowel de prefill-latentie als de cachetoewijzing moeten worden gemeten.
262,144 22,50 GiB Alleen al de gewichten en deze payload nemen ongeveer 91,1 GiB in beslag, nog zonder andere toewijzingen.

Dit is een toelichtende berekening, geen gemeten vLLM-geheugentoewijzing. De berekening houdt geen rekening met de indexerstatus, aanvullende paden, bloktoewijzing, pieken in activatiegeheugen, CUDA-grafieken, fragmentatie en werkruimten tijdens runtime. De cacheprecisie, implementatiedetails en parallelle plaatsing kunnen het daadwerkelijke geheugengebruik veranderen. Ga er niet van uit dat zelfs een configuratie met een schijnbaar royale 96 GB de volledige geadverteerde context aankan.

Let ook op een afwijking in de bron: op de modelkaart staat dat het model 262.144 tokens aankan, maar in het huidige configuratiebestand is max_position_embeddings ingesteld op 524.288 en wordt een andere RoPE-basisaarde gebruikt dan in de specificatietabel van de kaart. Een hogere configuratiewaarde bewijst niet dat de kwaliteit bij 512K is getest of dat het model betrouwbaar kan worden aangeboden. Deze gids gaat uit van de geadverteerde capaciteit van 256K en raadt aan om tijdens de validatie expliciete, lagere limieten in te stellen.

Kan kwantisering ervoor zorgen dat Maxwell op een GPU met 24 GB of 32 GB past?

Dat kan, maar het bestaan van een kleiner checkpoint is slechts een deel van het antwoord. Een berekening met vier bits op basis van de oorspronkelijke tensoromvang wijst op ongeveer 18–19 GB aan ruwe gewichten. Echte gekwantiseerde bestanden bevatten ook schalen en metadata, en sommige tensors blijven op een hogere precisie. Cache en runtimegeheugen komen daar nog bij.

Die berekening bewijst niet dat een werkende implementatie met 24 GB mogelijk is. Voor de expertlagen, hyperverbindingen, aandachtsimplementatie en checkpointloader van Maxwell is overal ondersteuning voor compatibele kwantisering nodig. Een community-GGUF- of FP8-repository, of een repository met vier bits, moet de exacte runtimeversie, vereiste patches, ondersteunde GPU en een reproduceerbaar generatievoorbeeld vermelden voordat je die als aankoopadvies beschouwt.

In het implementatievoorbeeld van de ontwikkelaar wordt verwezen naar diens eigen vLLM-container en oorspronkelijke gewichten. Er wordt geen universele Ollama-opdracht of officiële Q4-geheugengarantie gegeven. Als je voor een communityconversie kiest, voer dan eerst een korte prompt uit, controleer de chattemplate en toolaanroepen en meet vervolgens het geheugengebruik en de uitvoerkwaliteit ten opzichte van het origineel. Onze gids voor het controleren van communitymodellen, chattemplates en externe code behandelt de vertrouwenscontroles die nodig zijn voordat je een aangepaste repository laadt.

Voor een kleine consumentengpu is een kleiner model met een geverifieerde runtime vaak een eenvoudiger startpunt. Vergelijk implementaties in het overzicht van hardwarevereisten voor AI-modellen in plaats van uitsluitend te kiezen op basis van het aantal actieve parameters.

Hoe start je de officiële lokale vLLM-server?

De gedocumenteerde aanpak gebruikt maxwellmodel/vllm-openai:v0.30.0; ga er niet van uit dat elke standaard vLLM-image werkt. De modelkaart vermeldt NVIDIA-driver 580 of nieuwer voor de CUDA 13.0-omgeving en noemt een optie voor CUDA-compatibiliteit in de omgevingsinstellingen voor oudere drivers. Die optie vereist nog steeds een compatibele combinatie van GPU en driver; het is geen vervanging voor het controleren van NVIDIA's compatibiliteitsvereisten.

Installeer Docker met toegang tot de NVIDIA-GPU, controleer nvidia-smi en download de officiële repository met de Hugging Face CLI:

export MODEL_DIR="$PWD/Maxwell-V1-Flash"
hf download maxwell-model/Maxwell-V1-Flash --local-dir "$MODEL_DIR"

Hieronder is de officiële startopdracht aangepast voor een eerste test van 8K die alleen lokaal toegankelijk is. De gedocumenteerde image, blokgrootte en parsers blijven behouden, terwijl een kleinere context, één reeks en een binding aan de loopback-interface zijn toegevoegd:

docker run --rm --init \
  --name vllm-maxwell \
  --gpus all \
  --shm-size 8g \
  --network host \
  -v "$MODEL_DIR":/models/Maxwell-V1-Flash:ro \
  --entrypoint vllm \
  maxwellmodel/vllm-openai:v0.30.0 \
  serve /models/Maxwell-V1-Flash \
  --trust-remote-code \
  --block-size 128 \
  --served-model-name Maxwell-V1.0-Flash \
  --host 127.0.0.1 --port 8000 \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --max-num-seqs 1 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

De instelling voor één GPU volgt het voorbeeld van de ontwikkelaar; hierdoor verdwijnt een tekort aan VRAM niet. Als het checkpoint niet past, gebruik dan een compatibele machine met meer geheugen of controleer de mogelijkheden voor meerdere GPU's van de image van de ontwikkelaar voordat je de parallelle grootte wijzigt. Twee kaarten vormen niet vanzelf één gedeelde geheugenpool alleen omdat hun geheugencapaciteiten bij elkaar opgeteld voldoende zijn.

Omdat bij deze start aangepaste modelcode wordt ingeschakeld, moet je de broncode van de repository en de container controleren, de modelrevisie en de containerdigest vastleggen en geen inloggegevens of niet-gerelateerde persoonlijke mappen koppelen. De alleen-lezen modelkoppeling beperkt schrijfbewerkingen in de checkpointmap. Deze sandboxt niet alle mogelijkheden van een container met GPU-toegang.

Controleer na het opstarten het modelendpoint en een kleine aanvulling:

curl http://127.0.0.1:8000/v1/models

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Maxwell-V1.0-Flash","messages":[{"role":"user","content":"Leg een NAS-snapshot uit in twee zinnen."}],"max_tokens":512}'

Redeneren is standaard ingeschakeld in de officiële template. Een kleine limiet voor de uitvoer kan al worden verbruikt door het redeneren voordat het zichtbare antwoord verschijnt. Controleer daarom de redeneervelden en de redenen voor het beëindigen van de generatie, in plaats van een leeg definitief antwoord meteen als bewijs te zien dat het model defect is. Volg de meegeleverde template en behoud de redeneer- en toolaanroepvelden van de assistant in meerbeurtengesprekken met agents, zoals de ontwikkelaar aangeeft.

Hoe test je een lange context en meerdere gebruikers?

Leg eerst een herhaalbare baseline van 8K vast: modelrevisie, afbeeldingsdigest, GPU-model, stuurprogramma, precisie, piekgeheugen bij het opstarten, geheugen in stabiele toestand, tijd tot het eerste token en generatiesnelheid. Verhoog daarna de ingestelde limiet naar 16K of 32K en test een prompt die de beoogde werklast daadwerkelijk benadert. Dat een server met een hoge limiet opstart, bewijst niet dat een lange prefill succesvol zal verlopen.

Verhoog telkens één variabele. Houd de gelijktijdigheid op één terwijl je de context test; houd daarna de context vast terwijl je gebruikers toevoegt. Twee onafhankelijke sessies van 128K kunnen aanzienlijk meer cache vereisen dan één sessie, ook al delen ze dezelfde gewichten. Reserveer uitvoertokens binnen het totale contextbudget en houd bij het berekenen van het aantal tokens rekening met toolberichten en de redeneergeschiedenis.

Bij documentwerk kan retrieval de noodzaak verminderen om telkens een heel archief te versturen. Sluit bij codeeragents gegenereerde bestanden en afhankelijkheden uit, vat afgeronde stappen samen en houd werkmappen gescheiden. Onze handleiding voor Git-worktrees voor meerdere codeeragents behandelt repository-isolatie; daarmee verdwijnen de vereisten voor inferentiegeheugen van elke agent niet.

Als een test mislukt, maak dan onderscheid tussen een fout van de loader of een niet-ondersteunde kernel en onvoldoende geheugen tijdens het laden, prefilling of decoderen. Meer schijfruimte kan een GPU-toewijzingsfout niet oplossen. Een kortere context helpt de druk op de cache te verlagen, maar maakt de oorspronkelijke gewichten niet kleiner. Noteer in welke fase de fout optreedt voordat je de machine of kwantisering aanpast.

Overzicht van de benchmarks van het Maxwell Team voor Maxwell-V1.0-Flash, overgenomen van de officiële modelkaart
Door de ontwikkelaar gerapporteerde capaciteitsbenchmarks, overgenomen van de officiële modelkaart. Dit zijn geen metingen van lokaal GPU-geheugen of doorvoer. Bron: officiële modelkaart van Maxwell-V1-Flash.

Welke rol speelt ZimaCube 2 in een Maxwell-implementatie?

Het volledige originele model is op zichzelf geen goede reden om een compact Zima-systeem te kopen. De gedocumenteerde route vereist een NVIDIA-inferentieomgeving met veel geheugen. ZimaCube 2 moet niet worden voorgesteld als een gegarandeerde host voor dit checkpoint, een sessie van 256K of een willekeurige externe accelerator.

Een realistischer rol voor ZimaCube 2 als opslagkant van een lokale AI-workflow is het beschikbaar houden van modelarchieven, documentverzamelingen, projectback-ups en evaluatieresultaten voor een afzonderlijk GPU-werkstation of een aparte server. Als de gekozen software dit ondersteunt, kan de opslagmachine ook aanvullende services hosten terwijl de GPU-machine de generatie afhandelt.

Bewaar het actieve checkpoint op de lokale NVMe-schijf van de inferentiemachine voor voorspelbare laadtijden, en gebruik de NAS voor een versiearchief in plaats van ervan uit te gaan dat netwerkopslag zich als VRAM gedraagt. Controleer het beschikbare RAM, de ondersteunde services, de netwerkverbinding, de back-upruimte en eventuele vereisten voor fysieke uitbreiding voor de exacte ZimaCube 2-configuratie. Dit is een aanbeveling voor opslag en services, geen bewering dat de productkaart hieronder voldoet aan de volledige rekenvereisten van Maxwell.

Veelgestelde vragen

Is Maxwell-V1-Flash echt een 3B-model?

Het model activeert ongeveer 3B parameters per token, exclusief embeddings, maar heeft op dezelfde basis ongeveer 35B parameters in totaal. Je hebt nog steeds toegang nodig tot het volledige expertcheckpoint. De oorspronkelijke safetensors-bestanden nemen ongeveer 73,6 GB in beslag.

Kan ik de oorspronkelijke gewichten uitvoeren op een RTX 3090 of RTX 4090?

Eén kaart van 24 GB kan het oorspronkelijke checkpoint niet volledig in VRAM laden. Een kleinere conversie van de community vereist bewezen ondersteuning van de loader en kernels. Leid compatibiliteit niet af uit een generieke geheugencalculator voor vier bits.

Ondersteunt een GPU van 80 GB een context van 256K?

Reken daar niet op voor het oorspronkelijke checkpoint. Alleen al de illustratieve BF16-cache voor de hoofdlaag voegt bij 256K 22,5 GiB toe, waardoor de gewichten plus die cache samen ongeveer 91,1 GiB innemen, nog vóór extra geheugenreserveringen. Een experiment met een korte context is een andere workload.

Kan ik Ollama, llama.cpp, Apple Silicon of inferentie met alleen een CPU gebruiken?

De eerstelijns implementatieroute die hier is gecontroleerd, is de NVIDIA vLLM-image van de ontwikkelaar. Voor deze andere omgevingen is apart, architectuurspecifiek bewijs nodig. Een downloadbare conversie of een grote hoeveelheid uniform geheugen is geen afdoend bewijs voor een bruikbare runtime.

Bewijst het configuratiebestand dat 512K wordt ondersteund?

Nee. De instelling voor 524.288 posities verschilt van de capaciteit van 256K die in de modelkaart wordt vermeld. Controleer de kwaliteit, runtimeondersteuning en het geheugengebruik afzonderlijk voordat je op een grotere context vertrouwt.

Waar kan ik de oorspronkelijke specificaties en runtimevereisten controleren?

Raadpleeg de modelkaart van Maxwell-V1-Flash, de officiële checkpointbestanden, de Maxwell-repository op GitHub en de vereisten voor de GPU-installatie van vLLM. Controleer de door de ontwikkelaar vastgezette image apart van de upstream vLLM-documentatie.

Conclusie

Maxwell-V1-Flash is een serieus project voor lokale inferentie, omdat de actieve rekenlast veel kleiner is dan de totale omvang van de gewichten, terwijl de sparse aandacht de volledige gespreksgeschiedenis behoudt. Reken op ongeveer 73,6 GB voor het oorspronkelijke checkpoint, houd ruime extra capaciteit aan voor de runtime en behandel serving met een context van 128K–256K als een afzonderlijke capaciteitstest.

Begin met de door de ontwikkelaar ondersteunde omgeving, houd expliciet rekening met de limiet van 8K en doe één verzoek. Meet eerst voordat je de context uitbreidt of meer hardware aanschaft. Gebruik ZimaCube 2 wanneer gedeelde opslag, back-ups en omliggende services in je architectuur passen, en kies de inferentie-GPU op basis van de gemeten vereisten van het model.

Technologie- en AI-hub

Meer om te lezen

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.