Come eseguire Qwen3.8-27B in locale: RAM, VRAM, quantizzazione e guida a Ollama

Qwen3.8-27B è insolitamente pratico per un modello di questa classe di capacità. Il rilascio ufficiale è un modello denso di visione e linguaggio da 27B con una finestra di contesto nativa di 262.144 token, mentre gli attuali build GGUF a quattro bit occupano circa 16–18 GB. Questo rende l'inferenza locale utile alla portata di una singola GPU NVIDIA da 24 GB, di un sistema con memoria unificata ad alta capacità o persino di una macchina incentrata sulla CPU con RAM sufficiente, anche se queste tre configurazioni offrono velocità molto diverse.

Per la maggior parte degli utenti locali, il punto di partenza migliore è una configurazione di classe Q4 con almeno 32 GB di RAM di sistema, oppure una GPU da 24 GB se vuoi che il modello risieda quasi interamente nella GPU. Tuttavia, le dimensioni del modello sono solo una parte del calcolo dell'hardware. I contesti lunghi consumano memoria aggiuntiva, gli input multimodali aggiungono un componente visivo, le quantizzazioni aggressive a 1 e 2 bit sacrificano la qualità in cambio della capacità e la scelta tra Ollama, llama.cpp, vLLM e altri runtime può modificare sia la compatibilità sia il throughput. Questa guida separa queste variabili per aiutarti a scegliere hardware e quantizzazione partendo dal carico di lavoro.

Puoi eseguire Qwen3.8-27B localmente?

Sì. Qwen3.8-27B è uno dei modelli Qwen ad alte capacità più realistici da eseguire su hardware consumer. A differenza di Qwen3.8-Flash-Next, che utilizza un'architettura sparsa molto più grande, Qwen3.8-27B è un modello denso convenzionale da 27B. La quantizzazione può ridurre il checkpoint ufficiale di circa 55,6 GB a circa 16–18 GB con una precisione a quattro bit.

La scheda ufficiale del modello Qwen3.8-27B descrive un modello a 64 livelli con comprensione nativa di immagini e video, controllo flessibile del ragionamento e una finestra di contesto di 262.144 token, estendibile a un milione di token. Qwen ha rilasciato il modello il 14 agosto 2026 con licenza Apache 2.0.

L'importante distinzione tra l'hardware locale è che un modello denso da 27B memorizza e utilizza tutti i pesi del modello linguistico, invece di attivare solo un piccolo sottoinsieme di esperti MoE. La quantizzazione influisce quindi direttamente sulla quantità di RAM o VRAM necessaria.

Il primo errore da evitare è considerare "entra" e "funziona bene" come la stessa cosa. Un file GGUF da 17 GB può entrare in 32 GB di RAM ordinaria, ma l'inferenza sulla CPU tramite DDR5 è fondamentalmente diversa dal collocare lo stesso modello in 24 GB di memoria GPU ad alta larghezza di banda.

Di quanta RAM ha bisogno Qwen3.8-27B?

32 GB di RAM di sistema sono il punto di partenza pratico per una normale distribuzione Q4. Sedici gigabyte possono contenere tecnicamente alcune versioni a bassissima quantizzazione, ma lasciano poco margine per il sistema operativo, lo stato del contesto, i buffer di runtime, l'elaborazione visiva e altre applicazioni.

Il repository ufficiale del modello occupa circa 55,6 GB. Per l'inferenza locale, tuttavia, la maggior parte degli utenti sceglierà un formato GGUF o un'altra rappresentazione quantizzata invece di caricare i pesi BF16 originali.

L'attuale repository GGUF di Qwen3.8-27B di Unsloth offre un quadro utile dell'intervallo di memoria:

Questi valori di RAM sono intervalli indicativi per la pianificazione, non requisiti hardware minimi ufficiali di Qwen. Il file del modello non rappresenta l'intero ingombro di memoria dell'inferenza. Il sistema ha inoltre bisogno di memoria per lo stato di runtime, il contesto, il sistema operativo e, nei carichi di lavoro multimodali, il percorso visivo.

Per questo motivo, 32 GB sono una base sensata per Q4, mentre 64 GB rappresentano una configurazione locale per l'IA molto più flessibile. La memoria aggiuntiva consente di aumentare il contesto, eseguire altri servizi insieme al modello, testare versioni Q6 o Q8 ed evitare di operare vicino al limite della memoria fisica del sistema.

Di quanta VRAM ha bisogno Qwen3.8-27B?

Se utilizzi una GPU discreta, la risposta più utile dipende dalla quantizzazione che vuoi mantenere nella VRAM.

La build standard di Ollama è attualmente un modello Q4_K_M di circa 18 GB. Ollama lo identifica come un'architettura qwen35 con 27,3 miliardi di parametri e include un proiettore della visione BF16 separato da 461 milioni di parametri. Puoi esaminare la build attuale nella pagina del modello Qwen3.8-27B ufficiale di Ollama.

Questo rende particolarmente interessanti le schede da 24 GB meno recenti. Una RTX 3090 ha una capacità VRAM sufficiente per una configurazione Qwen3.8-27B di classe Q4, anche se appartiene a diverse generazioni di GPU fa. Lo stesso vale per una RTX 4090, mentre i 32 GB della RTX 5090 offrono molto più spazio per una maggiore precisione o un contesto più ampio.

Le prestazioni effettive dipendono da molto più della capacità della VRAM. Larghezza di banda della memoria, kernel, formato di quantizzazione, runtime, decodifica speculativa, formato della cache KV, lunghezza del prompt e limiti di potenza possono modificare tutti i token al secondo.

Una RTX 3090 o RTX 4090 può eseguire Qwen3.8-27B?

Sì. Una RTX 3090 o RTX 4090 da 24 GB è probabilmente una delle configurazioni a GPU singola più naturali per Qwen3.8-27B Q4.

Non si tratta più soltanto di una stima della capacità. I primi test della community hanno prodotto diversi esempi concreti. Un utente con RTX 3090 ha riferito di eseguire Q4_K_M con MTP e una finestra di contesto da 64K per un carico di lavoro di programmazione agentica. Un altro ha eseguito Qwen3.8-27B su una singola RTX 4090 con offload completo dei layer sulla GPU e una configurazione da 160K token, riferendo circa 47–57 token al secondo in quella particolare configurazione.

Un test della community con una singola RTX 4090 è particolarmente utile perché illustra il rapporto tra pesi del modello e contesto: inserire un modello di circa 17 GB in 24 GB di VRAM non significa che i 7 GB rimanenti possano essere ignorati. Le scelte relative al runtime e al contesto determinano se questo margine sia sufficiente.

Un altro esempio di programmazione Q4 su RTX 3090 utilizzava un contesto di 64K e 64 GB di RAM di sistema. Si tratta di configurazioni individuali della community, non di benchmark standardizzati di Qwen, ma dimostrano che le schede da 24 GB sono realmente utili e non semplicemente obiettivi teorici.

Per un utente normale che inizia oggi, Q4 su una scheda da 24 GB è una configurazione più difendibile rispetto al tentativo di massimizzare la precisione della quantizzazione. Lasciare diversi gigabyte di VRAM disponibili per il contesto, le allocazioni del runtime, l'elaborazione della visione e l'uso del desktop spesso conta più che stipare sulla GPU una quantizzazione leggermente più grande.

Un RTX 5090 può eseguire Qwen3.8-27B localmente?

Sì, e i suoi 32 GB di VRAM aprono molte più opzioni rispetto a una scheda da 24 GB. L'approccio più semplice consiste nell'eseguire Q4, Q5 o Q6, mantenendo più memoria per il contesto e la cache. Gli stack di inferenza più sperimentali stanno già spingendo molto oltre.

Per esempio, una recente implementazione della community ha utilizzato una build NVFP4 di Qwen3.8-27B su una singola RTX 5090, insieme a una cache KV compressa e alla decodifica speculativa DFlash2. L'autore ha riportato un contesto completo di 262K e un throughput aggregato molto elevato durante l'esecuzione concorrente. Un altro test ha riportato un utilizzo di circa 24,5 GB di VRAM vicino alla finestra di contesto completa del modello dopo l'applicazione di uno stack di inferenza specializzato.

Questi risultati sono dimostrazioni utili di ciò che l'inferenza ottimizzata può raggiungere, ma non dovrebbero essere considerati prestazioni normali di Ollama. Si basano su formati di quantizzazione specifici, percorsi di runtime personalizzati o in rapida evoluzione, formati di cache compressi e decodifica speculativa.

La conclusione pratica è più semplice: 32 GB di VRAM danno a Qwen3.8-27B spazio sufficiente affinché il contesto esteso diventi un problema di ottimizzazione, anziché un semplice problema di compatibilità del modello.

Quale quantizzazione di Qwen3.8-27B dovresti usare?

Per la maggior parte degli utenti locali, Q4 resta il punto di partenza migliore. Scendere ulteriormente riduce rapidamente il consumo di memoria, ma la quantizzazione non danneggia tutte le capacità allo stesso modo. La programmazione agentica, il ragionamento articolato in molti passaggi, l'uso di strumenti e il lavoro multimodale sono esattamente i tipi di attività in cui preservare la qualità del modello può valere diversi gigabyte in più.

La build estremamente ridotta a un bit è interessante perché comprime un modello 27B in circa 6–7 GB, ma questo non la rende la scelta ovvia per il lavoro reale. Se il tuo obiettivo è semplicemente dimostrare che Qwen3.8-27B può essere eseguito con una memoria minima, è utile. Se il tuo obiettivo è la programmazione, l’esecuzione di agenti, i flussi di lavoro con documenti o un uso affidabile degli strumenti, preservare una maggiore precisione è generalmente il compromesso migliore.

Una regola utile è:

Scegli la quantizzazione di qualità più alta che lasci comunque memoria sufficiente per il contesto e il carico di lavoro che intendi effettivamente usare.

Non scegliere una quantizzazione da 22 GB solo perché la tua scheda ha 24 GB, per poi scoprire che è rimasto pochissimo spazio per il resto dell’inferenza.

Di quanta memoria ha bisogno un contesto da 262K?

Qwen3.8-27B supporta una lunghezza del contesto nativa di 262.144 token, ma non è necessario allocare un contesto di 262K solo perché il modello lo supporta.

Questo modello usa un’architettura di attenzione ibrida. La configurazione ufficiale alterna livelli Gated DeltaNet a livelli Gated Attention periodici invece di usare l’attenzione completa convenzionale a ogni livello. Questo contribuisce a rendere il contesto molto lungo più gestibile rispetto a quanto sarebbe su un transformer 27B standard.

Non rende gratuito il contesto lungo.

Lo stato del runtime, lo stato dell’attenzione o ricorrente, la cache KV ove applicabile, la decodifica speculativa, i dati multimodali, il batching e i buffer specifici del backend consumano tutti memoria oltre ai pesi del modello. La quantizzazione della cache può ridurre questo requisito, ma può introdurre compromessi in termini di qualità o prestazioni.

Una finestra di contesto da 262K è particolarmente interessante per la programmazione a livello di repository, l’analisi privata dei documenti, le grandi raccolte di ricerca e le cronologie lunghe degli agenti. Tuttavia, riservare il contesto massimo a una conversazione di cinque messaggi spreca memoria che potrebbe essere usata per una quantizzazione migliore, altri servizi locali o ulteriori richieste simultanee.

Come eseguire Qwen3.8-27B in locale con Ollama

Per la maggior parte degli utenti, Ollama è la soluzione più semplice perché pubblica già una build di Qwen3.8-27B con supporto alla visione, agli strumenti e al ragionamento.

Il modello predefinito attuale occupa circa 18 GB e utilizza la quantizzazione Q4_K_M.

ollama run qwen3.8:27b

Quel comando scarica il modello se non è già presente e apre una sessione interattiva.

Puoi confermare che il modello sia installato con:

ollama list

Per le applicazioni che richiedono un'API locale, Ollama espone il proprio servizio locale sull'endpoint API abituale. Una richiesta di base è simile a:

curl http://localhost:11434/api/chat \
  -d '{
    "model": "qwen3.8:27b",
    "messages": [
      {
        "role": "user",
        "content": "Spiega gli snapshot ZFS in inglese semplice."
      }
    ]
  }'

Il thinking è abilitato per impostazione predefinita in Qwen3.8. Per brevi attività di estrazione, classificazione, formattazione o per semplici flussi di lavoro con assistente, disabilitare o ridurre il reasoning può migliorare la latenza percepita. Per attività complesse di programmazione e agentiche, il ragionamento aggiuntivo può valere i token extra.

Qwen stesso avverte che ridurre il reasoning effort non riduce necessariamente il tempo totale di completamento per le attività agentiche lunghe: un'analisi più debole può causare ulteriori tentativi e chiamate agli strumenti. La scheda ufficiale del modello supporta attualmente xhigh, medium, e low livelli di reasoning-effort, anche se i controlli esatti variano a seconda del framework di inferenza.

Come eseguire Qwen3.8-27B con llama.cpp

llama.cpp offre un maggiore controllo sulla scelta di GGUF, sull'offload della GPU, sul contesto e sul serving locale.

Le build attuali di Unsloth possono essere avviate direttamente da Hugging Face con una versione recente di llama.cpp:

llama cli \
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M

Per esporre il modello come server locale compatibile con OpenAI:

llama serve \
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M

Le istruzioni attuali per la distribuzione di GGUF documentano anche Ollama, LM Studio, Jan, Pi, OpenClaw, Hermes Agent e altre interfacce compatibili.

Se Qwen3.8-27B non funziona e viene visualizzato un errore che menziona un elemento sconosciuto qwen35 architettura, aggiorna llama.cpp o l'applicazione basata su llama.cpp prima di dedicare tempo al debug del file del modello. L'architettura ibrida di Qwen richiede il supporto di runtime recenti.

Questo punto è importante perché Qwen stesso raccomanda di usare versioni aggiornate dei framework. La scheda ufficiale del modello osserva che l'efficienza dell'inferenza varia notevolmente tra i framework e raccomanda motori di serving dedicati come vLLM, SGLang o TokenSpeed per i carichi di lavoro di produzione e ad alto throughput.

Dovresti usare Ollama, llama.cpp, vLLM o SGLang?

Per una singola persona che esegue il modello su una workstation da gaming, Ollama o llama.cpp sono generalmente il punto giusto da cui iniziare. Un server di IA locale multiutente, un team di sviluppatori o un backend applicativo possono trarre maggiore vantaggio da vLLM o SGLang.

Qwen3.8-27B può funzionare su Apple Silicon?

Sì. Apple Silicon è una soluzione interessante perché CPU e GPU condividono un unico pool di memoria unificata. Un Mac da 32 GB o più può contenere un Qwen3.8-27B di classe Q4 senza dividere la capacità del modello tra pool separati di RAM di sistema e VRAM.

La capacità, tuttavia, non equivale alla velocità di inferenza tipica di NVIDIA. Le prestazioni dipendono in larga misura dal backend Metal, dalla larghezza di banda della memoria, dalla configurazione della GPU e dal livello di maturità dei kernel di runtime per l’architettura ibrida di Qwen3.8.

Un Mac con memoria unificata da 32 GB dovrebbe essere considerato principalmente come una soluzione adatta alla capacità Q4. Un sistema da 64 GB o più offre una flessibilità notevolmente maggiore per Q6/Q8, contesti più lunghi e la possibilità di lasciare aperte altre applicazioni. Le configurazioni di Mac Studio con molta memoria possono eseguire le rappresentazioni del modello originale o a maggiore precisione, impossibili da contenere nelle normali GPU consumer, sebbene una capacità maggiore non produca automaticamente una velocità superiore nella generazione dei token.

Qwen3.8-27B può funzionare su AMD Strix Halo?

Sì. I sistemi Strix Halo con molta memoria sono particolarmente interessanti perché le piattaforme Ryzen AI Max possono assegnare una porzione consistente della memoria di sistema unificata alla GPU integrata.

Questo rende una macchina Strix Halo da 64 GB o 128 GB fondamentalmente diversa da un tradizionale laptop con iGPU, che può accedere alla RAM di sistema ma dispone di una larghezza di banda della memoria e di risorse GPU limitate. Qwen3.8-27B Q4 rientra facilmente nei limiti in termini di capacità, mentre i sistemi con più memoria possono usare una quantizzazione meno aggressiva mantenendo spazio per un contesto ampio.

Il compromesso riguarda ancora una volta la larghezza di banda e la maturità del backend. Una RTX 4090 o RTX 5090 discreta può offrire una larghezza di banda della memoria GPU molto più elevata, mentre una macchina con memoria unificata fornisce una capacità condivisa maggiore, senza trasferimenti PCIe tra la memoria della CPU e la VRAM.

Questo dà origine a due strategie valide per l’IA locale:

Strategia della GPU discreta: massimizzare la velocità di inferenza all’interno di un pool relativamente ridotto di VRAM ad ampia larghezza di banda, da 24–32 GB.

Strategia della memoria unificata: sacrificare una parte della velocità GPU grezza per una capacità molto più ampia, in grado di contenere modelli a maggiore precisione e carichi di lavoro più grandi.

Quale hardware acquistare per Qwen3.8-27B?

Se Qwen3.8-27B è l’obiettivo principale, anziché semplicemente uno dei tanti modelli, non è necessario passare subito a hardware di classe server. La quantizzazione a quattro bit colloca il modello pienamente nella fascia consumer di alta gamma.

Se possiedi già una RTX 3090, sostituirla solo perché esiste Qwen3.8-27B è difficile da giustificare. I suoi 24 GB di memoria video sono esattamente nella fascia di capacità in cui Q4 diventa pratico. Una GPU più recente può offrire efficienza e velocità migliori, ma la capacità di memoria della scheda più vecchia rimane estremamente preziosa per il lavoro con gli LLM locali.

Se stai acquistando un sistema da zero, considera qualcosa in più del solo modello. Una macchina per l’IA locale ha bisogno anche di spazio per varianti del modello, embedding, indici RAG, repository del codice sorgente, documenti, immagini e workspace degli agenti. Diversi file del modello da 15–30 GB possono trasformarsi rapidamente in centinaia di gigabyte.

È qui che l’architettura local-first più ampia diventa importante. La GPU o il computer con memoria unificata ad alta larghezza di banda può gestire l’inferenza, mentre lo storage locale veloce contiene i file del modello e i dati di lavoro privati. Un livello di storage self-hosted può conservare separatamente librerie di documenti, dataset, backup e file accessibili agli agenti, senza costringere ogni byte sull’SSD interno della workstation per l’IA.

Qwen3.8-27B è abbastanza valido per essere eseguito come agente locale di coding o IA?

Questa è la domanda più interessante rispetto al semplice fatto che il modello si carichi.

Qwen presenta Qwen3.8-27B specificamente per il coding, il lavoro professionale, la ricerca e le attività agentiche a lungo orizzonte. Nella valutazione di Qwen, il modello ottiene 61,7 su SWE-bench Pro e 73,0 su Terminal Bench 2.1, con miglioramenti significativi rispetto a Qwen3.6-27B. Questi sono risultati di benchmark dichiarati dal fornitore e non dovrebbero essere considerati una garanzia diretta per ogni flusso di coding locale, ma spiegano perché l’interesse della community si concentri soprattutto sugli agenti anziché sulla chat ordinaria.

Il modello supporta anche la comprensione nativa di immagini e video. Questo è importante per gli agenti locali, perché screenshot, diagrammi, documenti scansionati, interfacce web e debugging visivo possono restare parte dello stesso flusso di lavoro del modello, invece di essere inoltrati a un’API cloud separata per la visione.

I recenti esperimenti della community utilizzano già Qwen3.8-27B con harness di coding e lunghe catene di chiamate agli strumenti su singole GPU da 24 GB. Questa combinazione—capacità agentica utile più un modello a quattro bit di circa 17 GB—è più importante per l’IA locale di un piccolo miglioramento in un benchmark generico di chat.

Porta una classe di flussi di lavoro che in precedenza spingeva gli utenti verso modelli frontier ospitati su hardware che può stare sotto una scrivania e operare su file privati senza costi per token a consumo.

Conviene eseguire Qwen3.8-27B in locale?

Qwen3.8-27B è un'opzione locale particolarmente valida se disponi già di 24 GB di memoria GPU o di almeno 32–64 GB di memoria di sistema o unificata ad alta larghezza di banda. Il modello Q4 è abbastanza piccolo da essere davvero pratico, pur mantenendo un profilo di capacità orientato alla programmazione, alla visione, agli strumenti e agli agenti di lunga durata.

Il modello è meno interessante su una macchina che richiede una quantizzazione a 1 o 2 bit solo per entrare in memoria. A quel punto, usare un modello più piccolo con una quantizzazione di qualità migliore può offrire un'esperienza complessiva superiore. Allo stesso modo, c'è poco motivo di riservare un contesto di 262K per carichi di lavoro che usano abitualmente solo poche migliaia di token.

La configurazione migliore, quindi, non è il file più piccolo che si avvia correttamente. Per la maggior parte degli utenti è Q4, con RAM o VRAM sufficiente a evitare l'offload costante, un limite di contesto adeguato al lavoro e un runtime di inferenza aggiornato.

È questo che distingue Qwen3.8-27B dai più grandi modelli open recenti. Non è semplicemente possibile eseguirlo tecnicamente in locale. Rientra in una fascia hardware in cui una normale workstation di fascia alta può eseguire una versione utile senza trasformare l'implementazione stessa nel progetto.

FAQ: eseguire Qwen3.8-27B in locale

Quanta RAM serve per Qwen3.8-27B?

Per la maggior parte degli utenti, 32 GB di RAM sono il minimo pratico per un'implementazione di Qwen3.8-27B di classe Q4. Gli attuali file GGUF Q4 occupano circa 16–18 GB. Un sistema con 64 GB offre molto più spazio per il contesto, quantizzazioni di qualità superiore, altre applicazioni e servizi di IA locali.

Qwen3.8-27B può funzionare su 16 GB di RAM?

Sì, ma solo con una quantizzazione aggressiva, come Q2 o inferiore. Gli attuali build Q2 occupano meno di 10 GB, mentre le varianti a un bit sono intorno ai 6–7 GB. Il fatto che il modello entri in memoria non garantisce una qualità equivalente, soprattutto per la programmazione, gli agenti e le attività di ragionamento prolungato.

24 GB di VRAM sono sufficienti per Qwen3.8-27B?

Sì. Una GPU da 24 GB è una delle opzioni pratiche migliori per Qwen3.8-27B. Gli attuali build Q4 occupano circa 16–18 GB, lasciando diversi gigabyte per il contesto e lo stato del runtime. Gli utenti di RTX 3090 e RTX 4090 hanno già segnalato implementazioni Q4 completamente sulla GPU, anche se il contesto utilizzabile dipende dal runtime esatto e dalla configurazione della cache.

Una RTX 4090 può eseguire Qwen3.8-27B?

Sì. I 24 GB di VRAM della RTX 4090 possono contenere un modello di classe Q4 e rappresentano una configurazione con una singola GPU molto solida. Gli utenti della community hanno segnalato l'offload completo sulla GPU e l'utilizzo con contesti lunghi su una sola scheda. La velocità esatta in token varia notevolmente in base al runtime, alla quantizzazione, al contesto e alla decodifica speculativa.

Una RTX 3090 può eseguire Qwen3.8-27B?

Sì. I suoi 24 GB di VRAM sono sufficienti per Q4, anche se la RTX 3090 è una GPU meno recente. Recenti esempi della community includono Q4_K_M in esecuzione su una singola RTX 3090 per carichi di lavoro di programmazione e con agenti. La scheda rimane insolitamente utile per l'IA locale grazie alla sua ampia capacità di memoria.

Qwen3.8-27B può funzionare su una RTX 5090?

Sì. I 32 GB di VRAM della RTX 5090 offrono capacità sufficiente per Q4, Q5, Q6 o configurazioni più aggressive con contesti lunghi. Le implementazioni sperimentali NVFP4 e con decodifica speculativa stanno già dimostrando un throughput notevolmente superiore, ma questi risultati non devono essere confusi con le prestazioni predefinite di Ollama.

Qual è la quantizzazione migliore per Qwen3.8-27B?

Q4_K_M è l'impostazione predefinita più sicura per la maggior parte degli utenti locali, perché mantiene il modello intorno a 16–18 GB preservando una qualità notevolmente superiore rispetto alle versioni con pochissimi bit. Gli utenti con più memoria possono passare a Q5, Q6 o Q8, mentre i sistemi con risorse limitate potrebbero aver bisogno di Q3 o Q2.

Quanto è grande Qwen3.8-27B?

Il repository ufficiale su Hugging Face occupa attualmente circa 55,6 GB. Le versioni GGUF della community variano da circa 6 GB con una quantizzazione estrema a un bit fino a 29 GB per Q8_0. L'attuale pacchetto predefinito Q4_K_M di Ollama occupa circa 18 GB e include un proiettore visivo.

Qwen3.8-27B supporta la visione localmente?

Sì. Qwen3.8-27B è nativamente un modello multimodale visione-linguaggio, non un LLM solo testuale. L'attuale pacchetto Ollama include un proiettore visivo da circa 461 milioni di parametri. La comprensione delle immagini è quindi disponibile nei flussi di lavoro locali supportati, mentre il supporto video esatto dipende ancora dal runtime e dall'interfaccia frontend.

Qwen3.8-27B supporta davvero un contesto di 262K localmente?

Il modello supporta nativamente 262.144 token, ma l'hardware locale deve avere memoria sufficiente per lo stato di runtime corrispondente e il backend di inferenza deve supportare la configurazione in modo efficiente. Non è necessario usare l'intera finestra di contesto; 32K o 64K sono spesso impostazioni più pratiche per la programmazione locale e i carichi di lavoro con agenti.

Dovrei usare Ollama o llama.cpp per Qwen3.8-27B?

Usa Ollama se vuoi un'installazione semplice e un'API locale. Usa llama.cpp se vuoi il controllo diretto sulla scelta del file GGUF, sull'offload della GPU, sul contesto e sulle impostazioni dettagliate di runtime. Per il serving in produzione su GPU o per la gestione della concorrenza, anche vLLM e SGLang sono opzioni ufficialmente supportate.

Qwen3.8-27B è più facile da eseguire localmente rispetto a Qwen3.8-Flash-Next?

Sì, con un ampio margine. Qwen3.8-27B è un modello denso da 27B, con versioni Q4 che occupano circa 16–18 GB. Qwen3.8-Flash-Next contiene uno stato del modello molto più grande e le versioni attuali di classe quattro bit si avvicinano o superano circa 100 GB. Flash-Next è un esperimento per workstation con molta memoria; Qwen3.8-27B è un vero modello pensato per workstation consumer.