LFM3 di Liquid AI spiegato: un modello multimodale da 2B può essere eseguito in locale?

Sì, LFM3 può essere eseguito localmente, ma comincia dal checkpoint giusto. Liquid AI ha rilasciato la famiglia LFM3 con pesi aperti il 27 ottobre 2026. Il suo modello testuale, LFM3-1.7B, ha 1,73 miliardi di parametri e un ingombro dei pesi quantizzati a 4 bit di circa 1 GB, secondo quanto dichiarato. Una versione aggiornata di llama.cpp può eseguire il suo checkpoint GGUF su una CPU locale o una GPU supportata. Questo non significa che un assistente completo per voce e visione occupi solo 1 GB.

Per un PC o un NAS domestico, la scelta pratica consiste nel decidere tra testo, visione, audio o omni prima di dimensionare l'hardware. Il file del modello, l'encoder/decoder, i buffer del runtime, lo stato del contesto, gli input di immagini o audio e le richieste simultanee consumano tutte risorse. Per una prima prova, scegli il modello testuale a 4 bit, un contesto da 4K–8K e una sola richiesta; misura memoria e latenza prima di abilitare input più grandi o altri servizi NAS.

Che cosa ha rilasciato esattamente Liquid AI con LFM3?

LFM3 è una raccolta di sei modelli della classe 2B addestrati sulla base di LFM3-1.7B-Base: un modello testuale, un modello visione-linguaggio, un modello audio, un modello omni e due varianti orientate al ragionamento decisionale. Liquid AI descrive la famiglia come adatta ad applicazioni specializzate su dispositivo. La parola importante è famiglia: scaricare LFM3-1.7B non aggiunge automaticamente un encoder di immagini, il supporto per il microfono o un decoder vocale. Consulta l'annuncio del lancio di LFM3 e la panoramica della famiglia di modelli.

I pesi di LFM3 usano la licenza LFM Open v1.0. La definizione corretta è «pesi aperti»: per la distribuzione prevista e l'uso commerciale, consulta la licenza effettiva invece di considerarla una licenza OSI per software open source. Le schede dei modelli indicano i limiti specifici, incluso il fatto che il modello di testo compatto non è consigliato per attività di ragionamento complesse e articolate in più passaggi né per la programmazione agentica.

Perché l'architettura tri-ibrida è importante per i dispositivi edge?

Secondo la scheda ufficiale del modello di testo, il backbone di testo da 1.73B ha 24 layer: 13 layer a convoluzione breve con gating, cinque layer con attenzione a finestra scorrevole e sei layer con attenzione globale. La combinazione di queste operazioni riduce la necessità di elaborare ogni token in ogni layer come se usasse un'attenzione globale completa, pur mantenendo una parte del contesto globale. È una scelta progettuale per ridurre latenza e uso della memoria, non un'esenzione dai costi dei prompt lunghi.

Liquid AI dichiara di aver eseguito l'addestramento su 22 trilioni di token e afferma che la qualità per parametro è superiore a quella dei precedenti modelli LFM. Si tratta di risultati riportati dallo sviluppatore, che non vanno interpretati come benchmark indipendenti su NAS domestici. I miglioramenti architetturali aiutano a spiegare perché un modello di classe circa 2B possa essere utile per l'estrazione di dati, rispondere a domande semplici e instradare richieste agli strumenti; tuttavia, le capacità del modello dipendono comunque dalla difficoltà del compito, dal prompt e dal recupero di informazioni esterne.

Quanta RAM, VRAM e spazio di archiviazione servono davvero?

Un calcolo trasparente aiuta: 1.73B × 4 bit / 8 ≈ 0.865 GB di pesi grezzi teorici. I metadati di quantizzazione e il pacchetto del file aumentano questo valore: per questo Liquid AI descrive il modello di testo a 4 bit come un modello che occupa circa 1 GB. Tuttavia, il modello richiede comunque memoria per lo stato del contesto, i buffer di esecuzione, gli allocatori e il sovraccarico dell'applicazione. Un sistema in esecuzione può consumare molto più spazio del file.

Queste sono configurazioni di prova prudenti, non requisiti minimi ufficiali del modello né obiettivi garantiti di token al secondo. Presuppongono un singolo checkpoint testuale a 4 bit, nessun carico di lavoro simultaneo elevato e spazio di archiviazione libero sufficiente.

Una finestra di contesto dichiarata di 256K è un limite supportato dal modello, non un’impostazione iniziale consigliata. Durante l’elaborazione di prompt di grandi dimensioni e sessioni simultanee, il runtime può occupare una quantità di memoria considerevolmente maggiore. Per pianificare in base all’uso effettivo delle risorse, anziché al solo numero di parametri, consulta la guida ZimaSpace sui requisiti di RAM e GPU per i modelli locali e la spiegazione dell’instradamento dei modelli in base all’ingombro di memoria complessivo.

Quale modello LFM3 scegliere per un NAS domestico?

Per chat testuale locale, assegnazione di tag, estrazione di informazioni e instradamento leggero degli strumenti, LFM3-1.7B è l’esperimento più semplice. Per documenti scansionati, immagini fisse da videocamera o ispezioni visive, scegli LFM3-VL-2B; la scheda del modello indica un encoder visivo con 164M di parametri e un proiettore da 25M, oltre al modello linguistico di base. La scheda ufficiale del modello visivo specifica anche il campionamento video e i limiti dei fotogrammi. Elaborare un video richiede più risorse che leggere un breve prompt di testo semplice.

Per le interazioni vocali, LFM3-Audio-2B è un sistema specifico per l’audio, non un aggiornamento gratuito del GGUF testuale. Supporta il parlato multilingue, la trascrizione e le risposte vocali, mentre le prestazioni in streaming dipendono dal dispositivo. Scegli LFM3-Omni-2B solo quando il flusso di lavoro combina davvero più modalità e il backend specifico supporta tale combinazione. Una singola GPU che ospita pipeline di chat, visione e audio deve tenere conto della memoria massima necessaria durante l’esecuzione simultanea, come spiegato nella nostra guida multimodale per GPU domestiche.

Come eseguire LFM3-1.7B in locale con llama.cpp?

Per la parte runtime di questa configurazione, consulta la nostra guida alla distribuzione di llama.cpp 0.8.0, che illustra anche la differenza tra inferenza testuale e voce sperimentale in tempo reale.

Per un controllo iniziale riproducibile, parti dal repository GGUF pubblicato e da llama.cpp v0.8.0 o una build più recente compatibile con LFM3. L’esempio usa la variante ufficiale Q4_K_M e associa il server all’interfaccia di loopback; non espone un’API del modello su Internet. Su un host Linux con Git, CMake e un compilatore compatibile:

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git checkout v0.8.0
cmake -S . -B build
cmake --build build --config Release -j --target llama-server
./build/bin/llama-server \
  -hf LiquidAI/LFM3-1.7B-GGUF:Q4_K_M \
  -c 4096 --host 127.0.0.1 --port 8080

Apri http://127.0.0.1:8080 su quella stessa macchina, oppure prova il server dal suo terminale:

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"local","messages":[{"role":"user","content":"Spiega la quantizzazione in tre frasi."}],"max_tokens":128}'

L’identificatore esatto del modello dell’API compatibile con OpenAI può variare in base alla configurazione del server. Se la tua build rifiuta "local", interroga prima /v1/models e usa l’ID restituito. Compilare il backend CPU predefinito è un punto di partenza sicuro; l’accelerazione GPU richiede la selezione e il collaudo di un backend appropriato. La scheda GGUF ufficiale offre altre opzioni di runtime, tra cui Ollama e LM Studio. Considerale runtime alternativi, non come prova che ogni pacchetto ZimaOS includa già questa specifica versione del modello.

Per testare la visione in un secondo momento, usa il checkpoint GGUF LFM3-VL documentato e segui la guida rapida ufficiale per la visione per caricare il proiettore visivo corrispondente. Non sostituire il nome del modello di testo in un comando casuale e presumere che l’input di immagini funzioni.

Cosa verificare prima di considerare riuscita la distribuzione?

1. Identità del modello: verifica la variante GGUF selezionata e la versione del runtime, non limitarti a controllare che il download sia stato completato.
2. Limite delle risorse: registra la RAM/VRAM occupata a riposo, durante il prefill e con un prompt più lungo; verifica che ZimaOS e le altre app del NAS dispongano ancora di risorse sufficienti.
3. Latenza e qualità: misura l’elaborazione dei prompt, i token generati al secondo, il rispetto delle istruzioni e la correttezza su cinque attività rappresentative.
4. Limiti della privacy: mantieni qualsiasi API locale su loopback o su una rete privata affidabile; configura con attenzione l’autenticazione e il proxy se devono accedervi altri client.
5. Persistenza: archivia i file del modello scaricati al di fuori della partizione di avvio e mantieni una netta separazione tra i pesi immutabili e lo stato scrivibile dell’app. Consulta la separazione tra file del modello e stato di runtime e la nostra guida per distribuire un LLM locale in sicurezza.

Se una distribuzione funziona su un computer desktop ma non su un NAS, diagnostica l’intero percorso: dimensioni del modello quantizzato, bind mount corretto, RAM disponibile, scelta del backend, compatibilità delle istruzioni della CPU, proiettori e lunghezza del contesto. La lista di controllo per verificare la posizione dei file del modello è un utile complemento.

Domande frequenti

LFM3 è completamente open source?

Liquid AI pubblica pesi aperti con la licenza LFM Open License v1.0. Questo non significa automaticamente che i suoi modelli e componenti di addestramento soddisfino ogni definizione di software open source; leggi la licenza prima di ridistribuire o monetizzare una distribuzione.

Posso eseguire LFM3 su un PC o NAS senza GPU?

Il piccolo modello di testo GGUF può essere eseguito tramite un backend CPU compatibile con llama.cpp, se il sistema operativo e la RAM disponibile lo consentono. La fluidità dell’interazione dipende dalle prestazioni della CPU, dalla larghezza di banda della memoria e dalla lunghezza del prompt. Considera 8 GB come un livello pratico per i test, non come un requisito minimo ufficiale.

LFM3-1.7B supporta input di immagini o parlato?

Non da solo. Usa LFM3-VL per immagini/video, LFM3-Audio per il parlato oppure LFM3-Omni quando servono modalità combinate. Ognuno ha checkpoint e dipendenze di runtime diversi.

Un modello a 4 bit da 1 GB ha bisogno solo di 1 GB di RAM?

No. Quel valore indica approssimativamente la dimensione dei pesi quantizzati del modello testuale. Il processo di esecuzione aggiunge stato, buffer del runtime, cache dei token e uso del sistema operativo. I contesti lunghi e gli utenti simultanei possono assorbire gran parte della differenza.

Il contesto 256K è disponibile su tutti i modelli LFM3?

No. Il modello testuale dichiara una finestra di contesto di 256K; il modello visivo specifica 128K e quello audio 32K. Anche se il massimo è supportato, ciò non garantisce che un dispositivo specifico con 8 GB possa gestirlo agevolmente.

ZimaCube 2 o ZimaOS possono eseguire LFM3 oggi?

Uno stack di inferenza locale è tecnicamente fattibile quando hardware, modello e runtime scelti sono compatibili. ZimaCube 2 è inoltre utile per archiviare modelli e documenti in modo privato e per ospitare servizi applicativi. Le verifiche riportate sopra non attestano l’esistenza di un’installazione di LFM3 su ZimaOS certificata in modo indipendente né di risultati di throughput misurati.

Conclusione

LFM3 rende più praticabile l’IA on-device di piccole dimensioni e specializzata, ma la scelta del checkpoint conta più dell’etichetta altisonante «multimodale da 2B». Il vantaggio iniziale più evidente per un server domestico è un modello testuale LFM3-1.7B a 4 bit, con contesto breve e carico di lavoro controllato. Aggiungi visione e voce solo quando il checkpoint specifico, il supporto del runtime e la memoria misurata giustificano il cambiamento.

Per una configurazione ZimaSpace, considera archiviazione, inferenza e accesso alle applicazioni come decisioni separate. Un NAS domestico può contenere i file dei modelli, proteggere i documenti personali e coordinare i flussi di lavoro locali, anche quando a eseguire il modello è una macchina più potente. Se il tuo interesse si estende a sistemi open-weight molto più grandi, l’analisi dell’hardware locale per Kimi K3 mostra quanto cambia drasticamente il limite di memoria al variare del numero di parametri.

Fonti e ambito

Materiali ufficiali consultati il 29 ottobre 2026: articolo di lancio di Liquid AI, panoramica della famiglia, scheda del modello testuale, scheda del modello visivo, scheda del modello audio e release v0.8.0 di llama.cpp. Le dichiarazioni sulle prestazioni sono attribuite agli sviluppatori; le fasce hardware e i consigli operativi qui riportati sono stime editoriali, non risultati di benchmark ZimaSpace.

Immagine di copertina: Liquid AI, miniatura del video ufficiale del lancio di LFM3.