Kör Maxwell-V1-Flash lokalt: krav på RAM, VRAM och lång kontext

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

För att köra Maxwell-V1-Flash lokalt behövs cirka 73,6 GB originalfiler från kontrollpunkten, en kompatibel NVIDIA GPU-miljö och tillräckligt med extra minne för körmiljön och konversationscachen. Uppgiften om 3B aktiva parametrar beskriver experterna som används för varje token; den innebär inte att hela modellen kan laddas ner på 3B. För originalvikterna är en GPU-klass på 96 GB en mer trovärdig utgångspunkt än ett konsumentkort på 24 GB, medan en full kontext på 256K kräver en separat minnesbudget.

Den här guiden skiljer verifierade modellspecifikationer från uppskattningar för planering, förklarar varför gles uppmärksamhet ändå förbrukar minne vid långa kontexter och går igenom utvecklarens dokumenterade metod för lokal drift. Den visar också hur en ZimaCube 2 kan stödja arbetsflödet utan att antyda att en kompakt NAS kan ersätta en inferensserver med mycket minne. Specifikationer och driftsättningsanvisningar kontrollerades den 18 november 2026; konfigurationerna nedan är uppskattningar, inte uppmätta minimikrav.

Vad är Maxwell-V1-Flash och vilka specifikationer påverkar maskinvaran?

Maxwell-teamets kodförråd heter Maxwell-V1-Flash, medan modellkortet kallar modellen Maxwell-V1.0-Flash. Det är en textbaserad språkmodell med öppna vikter och en blandning av experter, utgiven under Apache 2.0. Den officiella beskrivningen anger 35B parametrar totalt och 3B aktiva parametrar per token, i båda fallen exklusive inbäddningar. Det är viktigt att tänka på dessa undantag när modellens angivna parameterantal jämförs med de faktiska filer som måste laddas ner.

Verifierade specifikationer Vad det innebär för lokal driftsättning
35B totalt / 3B aktiva, exklusive inbäddningar Minskad aktiv beräkning eliminerar inte lagrings- och minneskraven för experternas vikter.
45 lager i basmodellen; 32 frågehuvuden och 4 KV-huvuden; huvuddimension 128 Dessa dimensioner ger en användbar grunduppskattning av den huvudsakliga uppmärksamhetscachen.
256 dirigerade experter; 12 väljs per token; 2 delade experter per MoE-lager Expertvägledning kräver stöd för arkitekturen i inferensmotorn.
256K kontext annonseras i modellkortet Långa promptar kräver extra cache, förbearbetningstid och utrymme för genererad text.
Blockgles uppmärksamhet och manifoldbegränsade hyperkopplingar En körmiljö som stöder en annan MoE-modell är inte automatiskt kompatibel.
73 625 607 468 byte för de officiella safetensors-filerna Cirka 73,6 decimala GB, eller 68,6 GiB, före minnesallokeringar vid körning.

Dessa uppgifter kommer från det officiella modellkortet, den publicerade konfigurationen och metadata för kontrollpunktsfilerna. Kortet anger BF16 som huvudsaklig viktprecision, medan arkivet innehåller både BF16- och F32-tensorer. Filstorleken är därför en bättre uppskattning av nedladdningen än att multiplicera ett avrundat angivet parameterantal med två byte.

Officiell Maxwell-varumärkesbild från modellarkivet Maxwell-V1-Flash
Maxwells officiella varumärkesbild. Namnet på arkivet är Maxwell-V1-Flash; modellkortet använder Maxwell-V1.0-Flash. Källa: Maxwell-V1-Flash officiella modellkort.

Hur mycket RAM, grafikminne och lagringsutrymme bör du planera för?

Det finns ingen tabell över minimikrav på RAM publicerad av utvecklaren i distributionsanvisningarna vi granskade. Följande konfigurationer är praktiska planeringsmål som bygger på kontrollpunktens storlek och cacheberäkningar. De är inte benchmarktestade konfigurationer, och GPU-arkitektur, kärnkompatibilitet och minnet som den faktiska körtidsmiljön rapporterar är fortfarande avgörande.

Arbetsbelastning Mål för system-RAM Mål för grafikminne Arbetslagring
En användare, ursprungliga vikter, inledande test på 8K–16K 128 GB 96 GB-klassen; ett kort på 80 GB är en mer begränsad konfiguration som kräver validering Minst 150 GB ledigt på lokal NVMe
En användare, kod- eller dokumentsessioner på 32K–64K 128–192 GB 96 GB-klassen eller en validerad konfiguration med flera GPU:er, med uppmätt marginal för cache 200–300 GB ledigt för vikter, containerlager, loggar och revisioner
Sessioner på 128K–256K eller flera aktiva användare 192–256 GB som operativt mål Planera för mer än 96 GB sammanlagt användbart grafikminne; 128–160 GB eller mer ger en mer realistisk budget, beroende på stöd för parallellkörning 300 GB eller mer ledigt; ha en separat plats för säkerhetskopior

System-RAM och grafikminne fyller olika funktioner. System-RAM används för inläsning, filcache, förbehandling och andra tjänster. Grafikminnet rymmer den aktiva modellen, attention-cache, aktiveringar, tillfälliga arbetsytor och minnesallokeringar vid körning. Att lägga till 128 GB system-RAM gör inte automatiskt ett grafikkort med 24 GB kapabelt att köra den ursprungliga kontrollpunkten.

På samma sätt är RAM-målen rekommendationer för marginal, inte ett påstående om att varje laddare måste ha en extra fullständig modellkopia i minnet. Strömmande laddning och minnesmappad laddning kan påverka den högsta värdenivå som krävs. Börja med en modern Linux-maskin med x86-64, ungefär 12–16 kraftfulla CPU-kärnor för arbetsflödet runt modellen, ett NVIDIA-grafikkort som stöds och lokal NVMe-lagring. CPU-modell och antal kärnor är mindre viktiga än kontrollerna av grafikminne och programvarukompatibilitet här.

En accelerator med 80 GB kan ha plats för de ursprungliga vikterna och en liten cache, men det innebär inte att alla grafikkort med 80 GB är lämpliga. En del minne reserveras eller används av körmiljön, och anpassade kärnor kan ställa ytterligare krav på arkitekturen. Kontrollera att det specifika grafikkortet fungerar med utvecklarens avbildning och mät en körning med kort kontext innan du köper hårdvara utifrån det.

Varför kräver gles attention fortfarande minne vid en kontext på 256K?

Maxwell Block Sparse Attention, eller MBSA, väljer ett begränsat antal block för huvudberäkningen av attention. Den officiella förklaringen beskriver åtta prefixblock, åtta lokala block och upp till sexton fjärrblock som väljs separat, med 128 tokens i varje. I glest läge begränsas därmed det valda intervallet för huvudets attention till 4 096 tokens per KV-grupp.

KV-cachen för hela historiken är fortfarande tillgänglig. De valda blocken minskar beräkningsarbetet för attention; det betyder inte att bara 4 096 tokens lagras. Referensimplementeringen upprätthåller även indexernycklar. Det här är den viktigaste skillnaden att ha i åtanke när du dimensionerar en maskin för långa konversationer eller analys av kodarkiv.

Som jämförelse ser en konventionell beräkning av huvudets KV-cache i BF16, baserad på de publicerade dimensionerna för basmodellen, ut så här:

45 lager × 2 (K och V) × 4 KV-huvuden × 128 dimensioner
× 2 byte × cachelagrade tokens × oberoende sekvenser
Cachelagrade tokens, en sekvens Endast illustrativ nyttolast för huvudets K/V-cache Praktisk innebörd
8,192 0,70 GiB Ett lämpligt första inferenstest.
32,768 2,81 GiB Kräver redan utrymme utöver det som vikterna tar upp.
65,536 5,63 GiB Långa kodningssessioner börjar ta en betydande del av minnesreserven.
131,072 11,25 GiB Både fördröjningen vid förbearbetning och cacheallokeringen behöver mätas.
262,144 22,50 GiB Enbart vikterna plus den här nyttolasten tar cirka 91,1 GiB, innan andra allokeringar.

Det här är en förklarande beräkning, inte en uppmätt vLLM-allokering. Den omfattar inte indexerartillstånd, hjälpsökvägar, blockallokering, toppar i aktiveringar, CUDA-grafer, fragmentering eller arbetsytor under körning. Cacheprecision, implementeringsdetaljer och parallell placering kan påverka den faktiska minnesåtgången. Även en till synes generös konfiguration på 96 GB ska inte antas klara hela den annonserade kontextlängden.

Notera också en avvikelse i källorna: modellkortet anger 262 144 tokens, men den aktuella konfigurationsfilen anger max_position_embeddings till 524 288 och använder en annan RoPE-bas än specifikationstabellen i modellkortet. Ett större värde i konfigurationsfilen bevisar inte att kvaliteten vid 512K har testats eller att driftsättning är tillförlitlig. Den här guiden utgår från den annonserade kapaciteten på 256K och rekommenderar uttryckliga, lägre gränser för driftsättning under valideringen.

Kan kvantisering få Maxwell att fungera på ett grafikkort med 24 GB eller 32 GB?

Möjligen, men att det finns en mindre kontrollpunkt är bara en del av svaret. En fyrabitarsberäkning utifrån de ursprungliga tensorernas storlek antyder att råvikterna skulle ta ungefär 18–19 GB. Verkliga kvantiserade filer innehåller också skalor, metadata och tensorer som behålls i högre precision. Cache och körmiljö kräver dessutom minne.

Den beräkningen visar inte att en fungerande driftsättning med 24 GB är möjlig. Maxwells expertlager, hyperkopplingar, attention-implementation och kontrollpunktsladdare måste alla ha stöd för kompatibel kvantisering. Innan du ser ett community-GGUF-, FP8- eller fyrabitarsrepo som en köprekommendation bör det ange exakt körmiljöversion, nödvändiga korrigeringar, GPU-modeller som stöds och ett reproducerbart generationsexempel.

Utvecklarens driftsättningsexempel hänvisar till dess egen vLLM-container och originalvikter. Det innehåller inget universellt Ollama-kommando och ingen officiell minnesgaranti för Q4. Om du väljer en communitykonvertering bör du först återskapa en kort prompt, verifiera chattmallen och verktygsanropen och sedan mäta minne och utdatakvalitet mot originalet. Vår guide om kontroll av communitymodeller, chattmallar och fjärrkod tar upp de säkerhetskontroller som bör göras innan du läser in ett anpassat repo.

För en mindre konsument-GPU är en mindre modell med en verifierad körmiljö ofta en enklare startpunkt. Jämför driftsättningar i katalogen över maskinvarukrav för AI-modeller i stället för att enbart välja utifrån antalet aktiva parametrar.

Hur startar du den officiella lokala vLLM-servern?

Den dokumenterade metoden använder maxwellmodel/vllm-openai:v0.30.0, inte ett antagande om att någon standardavbildning för vLLM fungerar. Modellkortet anger NVIDIA-drivrutin 580 eller senare för CUDA 13.0-miljön och nämner ett alternativ för CUDA-kompatibilitetsmiljö för äldre drivrutiner. Det alternativet kräver fortfarande en kompatibel kombination av GPU och drivrutin; det ersätter inte kontrollen av NVIDIAs kompatibilitetskrav.

Installera Docker med stöd för NVIDIA-GPU, kontrollera nvidia-smi och ladda ned det officiella repot med Hugging Face CLI:

export MODEL_DIR="$PWD/Maxwell-V1-Flash"
hf download maxwell-model/Maxwell-V1-Flash --local-dir "$MODEL_DIR"

Följande anpassar det officiella startkommandot för ett första, lokalt test med 8K. Det behåller den dokumenterade avbildningen, blockstorleken och parsrarna, men använder en mindre kontext, en sekvens och bindning till loopback:

docker run --rm --init \
  --name vllm-maxwell \
  --gpus all \
  --shm-size 8g \
  --network host \
  -v "$MODEL_DIR":/models/Maxwell-V1-Flash:ro \
  --entrypoint vllm \
  maxwellmodel/vllm-openai:v0.30.0 \
  serve /models/Maxwell-V1-Flash \
  --trust-remote-code \
  --block-size 128 \
  --served-model-name Maxwell-V1.0-Flash \
  --host 127.0.0.1 --port 8000 \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --max-num-seqs 1 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

Inställningen för en enda GPU följer utvecklarens exempel; den får inte otillräckligt VRAM att räcka. Om kontrollpunkten inte får plats kan du använda en kompatibel maskin med mer minne eller verifiera utvecklaravbildningens stöd för flera GPU:er innan du ändrar parallellstorleken. Två kort blir inte en gemensam, transparent minnespool bara för att deras kapacitet läggs ihop.

Eftersom den här starten aktiverar anpassad modellkod bör du granska källkoden för databasen och containern, dokumentera modellrevisionen och containerdigesten samt undvika att montera autentiseringsuppgifter eller orelaterade personliga mappar. Den skrivskyddade modellmonteringen begränsar skrivningar till kontrollpunktskatalogen. Den sandlåser inte alla funktioner hos en container med GPU-åtkomst.

När servern har startat kontrollerar du modellens slutpunkt och en liten komplettering:

curl http://127.0.0.1:8000/v1/models

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Maxwell-V1.0-Flash","messages":[{"role":"user","content":"Förklara en NAS-ögonblicksbild med två meningar."}],"max_tokens":512}'

Resonemang är aktiverat som standard i den officiella mallen. En liten utdatareserv kan förbrukas av resonemang innan det synliga svaret, så granska resonemangsfälten och avslutningsorsakerna i stället för att tolka ett tomt slutsvar som omedelbart bevis på att modellen är trasig. Följ den medföljande mallen och bevara assistentens resonemangs- och verktygsanropsfält i agentkonversationer med flera turer, enligt utvecklarens instruktioner.

Hur testar du lång kontext och flera användare?

Börja med att dokumentera ett reproducerbart 8K-basläge: modellrevision, avbildningsdigest, GPU-modell, drivrutin, precision, minnestopp vid start, minnesanvändning i stabilt läge, tid till första token och genereringstakt. Öka sedan den konfigurerade gränsen till 16K eller 32K och testa en prompt som faktiskt närmar sig den avsedda arbetsbelastningen. Att servern startar med en hög gräns bevisar inte att en lång förbearbetning kommer att lyckas.

Öka en variabel i taget. Håll samtidigheten på en medan du testar kontexten; håll sedan kontexten fast medan du lägger till användare. Två oberoende 128K-sessioner kan kräva betydligt mer cache än en, trots att vikterna delas. Reservera utdataplatser inom den totala kontextbudgeten och ta med verktygsmeddelanden och resonemangshistorik i tokenberäkningen.

Vid dokumentarbete kan informationssökning minska behovet av att skicka ett helt arkiv om och om igen. För kodningsagenter bör du exkludera genererade filer och beroenden, sammanfatta slutförda steg och hålla arbetskatalogerna åtskilda. Vår guide till Git worktree för flera kodningsagenter behandlar isolering av kodförråd; den eliminerar inte varje agents behov av inferensminne.

Om ett test misslyckas bör du skilja mellan ett fel i inläsaren eller en kärna som inte stöds och att minnet tar slut under inläsning, förbehandling eller avkodning. Mer diskutrymme kan inte åtgärda ett allokeringsfel på GPU:n. Kortare kontext minskar trycket på cachen men gör inte de ursprungliga vikterna mindre. Anteckna i vilket steg felet uppstår innan du ändrar maskinen eller kvantiseringen.

Maxwell Teams testöversikt för Maxwell-V1.0-Flash, återgiven från det officiella modellkortet
Kapacitetstester som utvecklarna rapporterat, återgivna från det officiella modellkortet. Resultaten är inte mätningar av lokalt GPU-minne eller dataflöde. Källa: Maxwell-V1-Flash – officiellt modellkort.

Vilken roll har ZimaCube 2 i en Maxwell-distribution?

Den fullständiga originalmodellen är i sig ingen rimlig anledning att köpa ett kompakt Zima-system. Den dokumenterade vägen är en NVIDIA-inferensmiljö med mycket minne. ZimaCube 2 ska inte framställas som en garanterad värd för den här kontrollpunkten, en session på 256K eller en godtycklig extern accelerator.

En mer realistisk roll för ZimaCube 2 som lagringsdel i ett lokalt AI-arbetsflöde är att hålla modellarkiv, dokumentsamlingar, projektbackuper och utvärderingsresultat tillgängliga för en separat GPU-arbetsstation eller server. Om den programvara du väljer stöder det kan lagringsmaskinen också vara värd för kringliggande tjänster medan GPU-maskinen hanterar genereringen.

Behåll den aktiva kontrollpunkten på inferensmaskinens lokala NVMe-enhet för förutsägbar inläsning, och använd NAS:en för ett versionshanterat arkiv i stället för att anta att nätverkslagring fungerar som VRAM. Bekräfta tillgängligt RAM-minne, tjänster som stöds, nätverk, utrymme för säkerhetskopior och eventuella krav på fysisk utbyggnad för den specifika ZimaCube 2-konfigurationen. Det här är en rekommendation om lagring och tjänster, inte ett påstående om att produktkortet nedan uppfyller Maxwells fullständiga beräkningskrav.

Vanliga frågor

Är Maxwell-V1-Flash verkligen en 3B-modell?

Den aktiverar ungefär 3B parametrar per token, exklusive inbäddningar, men har totalt ungefär 35B parametrar räknat på samma sätt. Du behöver fortfarande åtkomst till hela expertkontrollpunkten. De ursprungliga safetensors-filerna upptar cirka 73.6 GB.

Kan jag köra de ursprungliga vikterna på ett RTX 3090 eller RTX 4090?

Ett enda grafikkort på 24GB kan inte rymma den ursprungliga kontrollpunkten helt i VRAM. En mindre community-konvertering behöver bevisat stöd från både inläsare och kärna. Dra inte slutsatser om kompatibilitet utifrån en generell minneskalkylator för fyrabitarsmodeller.

Klarar ett 80GB-grafikkort kontext på 256K?

Räkna inte med det för den ursprungliga kontrollpunkten. Enbart den illustrativa huvudsakliga BF16-cachen lägger till 22.5 GiB vid 256K, vilket ger ungefär 91.1 GiB för vikterna plus cachen, innan ytterligare allokeringar. Ett experiment med kort kontext är en annan arbetsbelastning.

Kan jag använda Ollama, llama.cpp, Apple Silicon eller inferens enbart med CPU?

Den förstapartsdistributionsväg som kontrollerats här är utvecklarens NVIDIA vLLM-avbild. Dessa andra miljöer kräver separat, arkitekturspecifik dokumentation. En nedladdningsbar konvertering eller stor mängd delat minne räcker inte som bevis för en fungerande körtidsmiljö.

Bevisar konfigurationsfilen stöd för 512K?

Nej. Inställningen för 524,288 positioner skiljer sig från kapaciteten på 256K som anges i modellkortet. Validera kvalitet, stöd i körtiden och minne separat innan du förlitar dig på ett större kontextfönster.

Var kan jag kontrollera originalspecifikationerna och kraven för körtid?

Använd modellkortet för Maxwell-V1-Flash, officiella kontrollpunktsfiler, Maxwells GitHub-arkiv och kraven för installation av vLLM med GPU. Kontrollera utvecklarens fixerade avbild separat från dokumentationen för uppströms vLLM.

Slutsats

Maxwell-V1-Flash är ett seriöst projekt för lokal inferens eftersom den aktiva beräkningsmängden är mycket mindre än den totala viktmängden, samtidigt som den glesa attention-mekanismen behåller hela konversationshistoriken. Räkna med den ursprungliga kontrollpunkten på 73.6GB, lämna gott om utrymme för körtiden och behandla inferens med 128K–256K som ett separat kapacitetstest.

Börja med utvecklarens stödda miljö, en uttrycklig gräns på 8K och en enda begäran. Mät innan du utökar kontexten eller köper mer maskinvara. Använd ZimaCube 2 där delad lagring, säkerhetskopior och kringliggande tjänster passar din arkitektur, och välj inferens-GPU utifrån modellens uppmätta krav.

Teknik- och AI-hubb

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.