Per eseguire Maxwell-V1-Flash in locale servono inizialmente circa 73,6 GB di file checkpoint originali, un ambiente compatibile con GPU NVIDIA e memoria aggiuntiva sufficiente per il runtime e la cache delle conversazioni. Il valore di 3B parametri attivi descrive gli esperti usati per ciascun token; non riduce l'intero modello a un download da 3B. Per i pesi originali, una GPU della classe da 96 GB è un punto di partenza più realistico di una scheda consumer da 24 GB, mentre un contesto completo da 256K richiede un budget di memoria separato.
Questa guida distingue le specifiche verificate del modello dalle stime di pianificazione, spiega perché l'attenzione sparsa richiede comunque memoria per contesti lunghi e illustra la procedura di servizio locale documentata dallo sviluppatore. Indica inoltre in che modo uno ZimaCube 2 può supportare il flusso di lavoro, senza suggerire che un NAS compatto possa sostituire un server di inferenza con molta memoria. Le specifiche e le istruzioni di distribuzione sono state verificate il 18 novembre 2026; le configurazioni seguenti sono stime, non requisiti minimi misurati.
Che cos'è Maxwell-V1-Flash e quali specifiche incidono sull'hardware?
Il repository del Maxwell Team si chiama Maxwell-V1-Flash, mentre la scheda del modello lo definisce Maxwell-V1.0-Flash. È un modello linguistico di soli testi, open-weight e basato su una miscela di esperti, distribuito con licenza Apache 2.0. La descrizione ufficiale indica 35B di parametri totali e 3B di parametri attivi per token, escludendo in entrambi i casi gli embedding. Queste esclusioni sono importanti quando si confronta il numero di parametri dichiarato con i file effettivi da scaricare.
| Specifiche verificate | Cosa significa per la distribuzione locale |
|---|---|
| 35B totali / 3B attivi, esclusi gli embedding | La riduzione dei calcoli attivi non elimina i requisiti di archiviazione e memoria dei pesi degli esperti. |
| 45 livelli backbone; 32 teste di query e 4 teste KV; dimensione della testa 128 | Queste dimensioni determinano una stima di riferimento utile per la cache principale di attenzione. |
| 256 esperti instradati; 12 selezionati per token; 2 esperti condivisi per livello MoE | L'instradamento degli esperti richiede il supporto dell'architettura nel motore di inferenza. |
| Contesto da 256K indicato nella scheda del modello | I prompt lunghi richiedono cache aggiuntiva, più tempo di precompilazione e spazio per l'output generato. |
| Attenzione sparsa a blocchi e connessioni iperboliche vincolate alla varietà | Un runtime che supporta un altro modello MoE non è automaticamente compatibile. |
| 73.625.607.468 byte nei file safetensors ufficiali | Circa 73,6 GB decimali, ovvero 68,6 GiB, prima delle allocazioni del runtime. |
Queste informazioni provengono dalla scheda ufficiale del modello, dalla configurazione pubblicata e dai metadati dei file del checkpoint. La scheda indica BF16 come precisione principale dei pesi, mentre il repository contiene tensori sia BF16 che F32. Di conseguenza, la dimensione dei file è una stima migliore per il download rispetto al calcolo ottenuto moltiplicando per due byte il numero approssimativo di parametri indicato.

Quanta RAM, VRAM e spazio di archiviazione dovresti prevedere?
Nelle istruzioni di distribuzione consultate non è presente una tabella dei requisiti minimi di RAM pubblicata dagli sviluppatori. Le configurazioni seguenti sono obiettivi pratici di pianificazione, basati sull'ingombro del checkpoint e sul calcolo della cache. Non sono configurazioni sottoposte a benchmark; l'architettura della GPU, la compatibilità dei kernel e la memoria indicata dal runtime effettivo restano determinanti.
| Carico di lavoro | Obiettivo di RAM di sistema | Obiettivo di memoria GPU | Spazio di archiviazione di lavoro |
|---|---|---|---|
| Un utente, pesi originali, test iniziale da 8K–16K | 128 GB | GPU della classe 96GB; una scheda da 80GB è una configurazione più limitata che richiede convalida | Almeno 150 GB liberi su un'unità NVMe locale |
| Un utente, sessioni di programmazione o documenti da 32K–64K | 128–192 GB | GPU della classe 96GB o una configurazione multi-GPU convalidata, con un margine di cache misurato | 200–300 GB liberi per pesi, livelli dei container, log e revisioni |
| Sessioni da 128K–256K o più utenti attivi | 192–256 GB come obiettivo operativo | Pianificate oltre 96 GB di VRAM aggregata utilizzabile; 128–160 GB o più offrono un budget più realistico, compatibilmente con il supporto del runtime parallelo | 300 GB o più di spazio libero; mantenete una posizione di backup separata |
RAM e VRAM svolgono funzioni diverse. La RAM di sistema serve per il caricamento, la cache dei file, la pre-elaborazione e altri servizi. La VRAM della GPU ospita il modello residente, la cache di attenzione, le attivazioni, gli spazi di lavoro temporanei e le allocazioni del runtime. Aggiungere 128 GB di RAM host non rende automaticamente una GPU da 24GB capace di eseguire il checkpoint originale.
Allo stesso modo, le indicazioni sulla RAM sono raccomandazioni per avere margine, non implicano che ogni loader debba mantenere in memoria una copia completa aggiuntiva del modello. Il caricamento in streaming e quello con mappatura della memoria possono modificare il picco di memoria del sistema host. Iniziate con una macchina Linux x86-64 moderna, circa 12–16 core CPU adeguati per le attività correlate, una GPU NVIDIA supportata e un'unità NVMe locale. Il modello e il numero di core della CPU sono secondari rispetto alla memoria della GPU e alle verifiche di compatibilità software.
Un acceleratore da 80 GB potrebbe avere spazio per i pesi originali e una cache ridotta, ma questo non significa che tutte le GPU da 80 GB siano adatte. Una parte della memoria è riservata o consumata dal runtime e i kernel personalizzati possono imporre ulteriori requisiti architetturali. Prima di acquistare hardware pensando di usarlo, verifica che la scheda specifica sia compatibile con l’immagine dello sviluppatore e misura le prestazioni con una finestra di contesto ridotta.
Perché l’attenzione sparsa richiede comunque memoria con un contesto di 256K?
Maxwell Block Sparse Attention, o MBSA, seleziona un numero limitato di blocchi per il calcolo principale dell’attenzione. La spiegazione ufficiale descrive otto blocchi di prefisso, otto blocchi locali e fino a sedici blocchi selezionati a distanza, ciascuno contenente 128 token. In modalità sparsa, questo limita l’intervallo selezionato per l’attenzione principale a 4.096 token per gruppo KV.
La cache KV conserva l’intera cronologia. I blocchi selezionati riducono il lavoro di attenzione; non significa che vengano memorizzati solo 4.096 token. L’implementazione di riferimento mantiene anche le chiavi dell’indexer. Questa è la distinzione più importante quando si dimensiona una macchina per conversazioni lunghe o per l’analisi di repository.
Per avere un riferimento, un calcolo convenzionale della KV principale in BF16, basato sulle dimensioni pubblicate del backbone, è:
45 layer × 2 (K e V) × 4 teste KV × 128 dimensioni
× 2 byte × token memorizzati nella cache × sequenze indipendenti
| Token memorizzati nella cache, una sequenza | Solo carico K/V principale a titolo illustrativo | Implicazioni pratiche |
|---|---|---|
| 8,192 | 0,70 GiB | Un primo test di inferenza ragionevole. |
| 32,768 | 2,81 GiB | Richiede già margine aggiuntivo oltre ai pesi. |
| 65,536 | 5,63 GiB | Le lunghe sessioni di programmazione iniziano a consumare una parte significativa della memoria disponibile. |
| 131,072 | 11,25 GiB | Sia la latenza di prefill sia l’allocazione della cache devono essere misurate. |
| 262,144 | 22,50 GiB | Solo i pesi e questo carico occupano circa 91,1 GiB, prima di altre allocazioni. |
Questo è un calcolo illustrativo, non un’allocazione misurata con vLLM. Esclude lo stato dell’indexer, i percorsi ausiliari, l’allocazione dei blocchi, i picchi di attivazione, i grafi CUDA, la frammentazione e le aree di lavoro a runtime. La precisione della cache, i dettagli dell’implementazione e la disposizione del parallelismo possono modificare l’ingombro effettivo. Non si deve presumere che persino una configurazione apparentemente generosa da 96 GB sia in grado di gestire l’intero contesto dichiarato.
Nota anche una discrepanza nella fonte: la scheda del modello indica 262.144 token, ma il file di configurazione attuale imposta max_position_embeddings su 524.288 e usa una base RoPE diversa da quella riportata nella tabella delle specifiche della scheda. Un valore di configurazione più alto non dimostra che la qualità sia stata testata a 512K né che il servizio sia affidabile. Questa guida si basa sulla capacità dichiarata di 256K e consiglia di impostare limiti di servizio espliciti e più bassi durante la convalida.
La quantizzazione può far stare Maxwell su una GPU da 24 GB o 32 GB?
Potenzialmente, ma l’esistenza di un checkpoint più piccolo è solo una parte della risposta. Un calcolo a quattro bit basato sull’ingombro originale dei tensori suggerisce un ordine di grandezza di circa 18–19 GB per i pesi grezzi. I file quantizzati reali contengono anche scale, metadati e tensori mantenuti a precisione più elevata. La cache e la memoria del runtime sono costi aggiuntivi.
Questo calcolo non dimostra che sia possibile eseguire il modello su una GPU da 24 GB. I livelli degli esperti di Maxwell, le hyper-connection, l’implementazione dell’attenzione e il caricatore dei checkpoint devono tutti supportare la quantizzazione in modo compatibile. Prima di considerare una versione community in GGUF, FP8 o a quattro bit come una raccomandazione d’acquisto, dovrebbe specificare la build esatta del runtime, le patch necessarie, la GPU supportata e un esempio di generazione riproducibile.
L’esempio di distribuzione dello sviluppatore fa riferimento al proprio container vLLM e ai pesi originali. Non fornisce un comando Ollama universale né una garanzia ufficiale sull’uso della memoria in Q4. Se scegli una conversione della community, riproduci prima un prompt breve, verifica il template di chat e le chiamate agli strumenti, poi misura l’uso della memoria e la qualità dell’output rispetto all’originale. La nostra guida alla verifica dei modelli della community, dei template di chat e del codice remoto illustra i controlli di affidabilità da eseguire prima di caricare un repository personalizzato.
Con una piccola GPU consumer, un modello più piccolo con un runtime verificato è spesso il punto di partenza più semplice. Confronta le implementazioni nella directory dei requisiti hardware per modelli di IA invece di scegliere basandoti esclusivamente sul numero di parametri attivi.
Come si avvia il server vLLM locale ufficiale?
La procedura documentata usa maxwellmodel/vllm-openai:v0.30.0, senza dare per scontato che funzioni una qualsiasi immagine standard di vLLM. La scheda del modello indica che per il suo ambiente CUDA 13.0 è necessario un driver NVIDIA 580 o più recente e menziona un’opzione di compatibilità CUDA per i driver più vecchi. Tale opzione richiede comunque una combinazione compatibile di GPU e driver; non sostituisce la verifica dei requisiti di compatibilità NVIDIA.
Installa Docker con accesso alla GPU NVIDIA, controlla nvidia-smi e scarica il repository ufficiale usando la CLI di Hugging Face:
export MODEL_DIR="$PWD/Maxwell-V1-Flash"
hf download maxwell-model/Maxwell-V1-Flash --local-dir "$MODEL_DIR"
Quanto segue adatta il comando di avvio ufficiale per un primo test locale da 8K. Mantiene l’immagine, la dimensione dei blocchi e i parser documentati, aggiungendo un contesto più piccolo, una sola sequenza e un binding su loopback:
docker run --rm --init \
--name vllm-maxwell \
--gpus all \
--shm-size 8g \
--network host \
-v "$MODEL_DIR":/models/Maxwell-V1-Flash:ro \
--entrypoint vllm \
maxwellmodel/vllm-openai:v0.30.0 \
serve /models/Maxwell-V1-Flash \
--trust-remote-code \
--block-size 128 \
--served-model-name Maxwell-V1.0-Flash \
--host 127.0.0.1 --port 8000 \
--tensor-parallel-size 1 \
--max-model-len 8192 \
--max-num-seqs 1 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
L’impostazione per una sola GPU segue l’esempio dello sviluppatore; non fa sparire un’eventuale carenza di VRAM. Se il checkpoint non entra in memoria, usa una macchina compatibile con più memoria oppure verifica le capacità multi-GPU dell’immagine dello sviluppatore prima di modificare il parallelismo. Due schede non diventano un unico pool di memoria trasparente solo perché la loro capacità totale è sufficiente.
Poiché questo avvio abilita il codice del modello personalizzato, esamina il repository e il codice sorgente del container, annota la revisione del modello e il digest del container ed evita di montare credenziali o cartelle personali non pertinenti. Il montaggio del modello in sola lettura limita le scritture alla directory del checkpoint. Non isola però tutte le funzionalità di un container con accesso alla GPU.
Dopo l’avvio, verifica l’endpoint del modello e una breve generazione:
curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"Maxwell-V1.0-Flash","messages":[{"role":"user","content":"Spiega uno snapshot NAS in due frasi."}],"max_tokens":512}'
Nel modello ufficiale, il ragionamento è abilitato per impostazione predefinita. Una quota ridotta di token di output può essere consumata dal ragionamento prima della risposta visibile; quindi, esamina i campi del ragionamento e i motivi di fine generazione invece di considerare subito una risposta finale vuota come prova che il modello non funziona. Nelle conversazioni agentiche multi-turno, segui il template incluso e conserva i campi del ragionamento dell’assistente e delle chiamate agli strumenti, come indicato dallo sviluppatore.
Come si testano il contesto lungo e più utenti?
Per prima cosa, registra una baseline ripetibile da 8K: revisione del modello, digest dell’immagine, modello della GPU, driver, precisione, picco all’avvio, memoria a regime, tempo al primo token e velocità di generazione. Poi aumenta il limite configurato a 16K o 32K e prova un prompt che si avvicini davvero al carico di lavoro previsto. Il fatto che un server si avvii con un limite elevato non dimostra che un prefill lungo andrà a buon fine.
Aumenta una variabile alla volta. Mantieni la concorrenza a uno mentre testi il contesto; poi mantieni fisso il contesto mentre aggiungi utenti. Due sessioni indipendenti da 128K possono richiedere molta più cache di una, anche se i pesi sono condivisi. Riserva token di output entro il budget totale del contesto e includi i messaggi degli strumenti e la cronologia del ragionamento nel conteggio dei token.
Per lavorare sui documenti, il recupero delle informazioni può ridurre la necessità di inviare ripetutamente un intero archivio. Per gli agenti di programmazione, escludi i file generati e le dipendenze, riepiloga i passaggi completati e mantieni separate le directory di lavoro. La nostra Guida alle worktree Git per più agenti di programmazione spiega come isolare i repository, ma non elimina il fabbisogno di memoria di inferenza di ciascun agente.
Se un test non riesce, distingui un errore del caricatore o di un kernel non supportato da un errore di memoria insufficiente durante il caricamento, il prefill o la decodifica. Più spazio su disco non può risolvere un errore di allocazione della GPU. Ridurre il contesto aiuta a contenere la pressione sulla cache, ma non riduce le dimensioni dei pesi originali. Registra la fase in cui si verifica l’errore prima di modificare la macchina o la quantizzazione.

Che ruolo ha ZimaCube 2 in un’implementazione di Maxwell?
Il modello originale completo, da solo, non è un motivo sensato per acquistare un sistema Zima compatto. Il percorso documentato prevede un ambiente di inferenza NVIDIA con molta memoria. ZimaCube 2 non dovrebbe essere presentato come host garantito per questo checkpoint, una sessione da 256K o un acceleratore esterno qualsiasi.
Un ruolo più realistico per ZimaCube 2 come componente di storage di un flusso di lavoro di IA locale consiste nel rendere accessibili archivi di modelli, raccolte di documenti, backup dei progetti e risultati delle valutazioni a una workstation o a un server GPU separato. Se il software scelto lo supporta, la macchina di storage può anche ospitare i servizi correlati, mentre la macchina GPU si occupa della generazione.
Mantieni il checkpoint attivo sull’NVMe locale della macchina di inferenza per garantire caricamenti prevedibili e usa il NAS per un archivio con versioni, senza presumere che lo storage di rete si comporti come la VRAM. Verifica la RAM disponibile, i servizi supportati, la rete, lo spazio per i backup e gli eventuali requisiti di espansione fisica per l’esatta configurazione di ZimaCube 2. È una raccomandazione su storage e servizi, non un’affermazione che il prodotto mostrato sotto soddisfi l’intero requisito di calcolo di Maxwell.
FAQ
Maxwell-V1-Flash è davvero un modello da 3B?
Attiva circa 3B parametri per token, esclusi gli embedding, ma conta circa 35B parametri totali sulla stessa base. Devi comunque poter accedere all’intero checkpoint degli esperti. I file safetensors originali occupano circa 73.6 GB.
Posso eseguire i pesi originali su una RTX 3090 o una RTX 4090?
Una singola scheda da 24GB non può contenere interamente in VRAM il checkpoint originale. Una conversione community più piccola richiede supporto verificato per il proprio loader e i propri kernel. Non dedurre la compatibilità da un calcolatore generico della memoria a quattro bit.
Una GPU da 80GB supporta un contesto di 256K?
Non farci affidamento con il checkpoint originale. La sola cache BF16 principale, a titolo esemplificativo, aggiunge 22.5 GiB a 256K, portando pesi e cache a circa 91.1 GiB prima delle allocazioni aggiuntive. Un esperimento con contesto breve è un carico di lavoro diverso.
Posso usare Ollama, llama.cpp, Apple Silicon o l’inferenza solo su CPU?
Il percorso di distribuzione ufficiale verificato qui è l’immagine vLLM dello sviluppatore per NVIDIA. Questi altri ambienti richiedono prove separate e specifiche per ciascuna architettura. Una conversione scaricabile o una grande quantità di memoria unificata non dimostrano che il runtime sia utilizzabile.
Il file di configurazione dimostra il supporto a 512K?
No. L’impostazione di 524,288 posizioni è diversa dal supporto a 256K dichiarato nella scheda del modello. Verifica separatamente qualità, supporto del runtime e memoria prima di affidarti a un contesto più ampio.
Dove posso verificare le specifiche originali e i requisiti di runtime?
Consulta la scheda del modello Maxwell-V1-Flash, i file ufficiali del checkpoint, il repository GitHub di Maxwell e i requisiti per l’installazione di vLLM su GPU. Verifica separatamente l’immagine fissata dallo sviluppatore rispetto alla documentazione di vLLM upstream.
Conclusione
Maxwell-V1-Flash è un progetto di inferenza locale impegnativo, perché il calcolo attivo è molto inferiore all’ingombro totale dei pesi, mentre la sua attenzione sparsa conserva comunque l’intera cronologia della conversazione. Considera circa 73.6GB per il checkpoint originale, lascia un ampio margine per il runtime e tratta la gestione di contesti da 128K–256K come una prova di capacità separata.
Inizia dall’ambiente supportato dallo sviluppatore, con un limite esplicito di 8K e una sola richiesta. Misura prima di ampliare il contesto o acquistare altro hardware. Usa ZimaCube 2 se l’archiviazione condivisa, i backup e i servizi correlati si adattano alla tua architettura, e scegli la GPU per l’inferenza in base ai requisiti misurati del modello.
Hub di tecnologia e IA
Altre letture

llama.cpp 1.0 spiegato: cosa cambia per il tuo server AI locale?
Scopri la compatibilità con llama.cpp 1.0, i controlli di modelli e backend, i test di aggiornamento, la pianificazione della memoria e il ruolo dello...

Come archiviare video per adulti su un NAS: guida per principianti
Scopri come archiviare video per adulti su un NAS, scegliere lo spazio di archiviazione, trasferire i file, configurare la riproduzione e i backup e...

Qwen3.8-27B con DSpine: come i modelli draft accelerano l'inferenza
Comprendi il modello draft DSpine di Tencent per Qwen3.8-27B, interpreta l’accettazione dei draft e progetta un confronto end-to-end con SGLang.



