Does 2B active mean the model needs the memory of a 2B dense model?

No. Account for the total artifact, serving strategy, context, runtime overhead, and concurrency.

Is the ideal 4-bit weight calculation a complete RAM requirement?

No. It excludes quantization metadata, components retained at other precision, buffers, and other serving allocations.

Does the model automatically have access to my NAS?

No. A client or harness must supply file tools or mounts and their permissions.

Can a local model still send private data away?

Yes. External tools, fallback services, logs, and later processing steps can transmit content.

LFM2.5-24B-A2B spiegato: cosa significano i parametri totali e attivi per gli agenti IA locali

Eva Wong

IceWhale author

Eva Wong è la Technical Writer e smanettatrice residente di ZimaSpace. Una geek da sempre con una passione per homelab e software open-source, si specializza nel tradurre concetti tecnici complessi in guide accessibili e pratiche. Eva crede che l'auto-ospitare debba essere divertente, non intimidatorio. Attraverso i suoi tutorial, dà potere alla comunità di demistificare le configurazioni hardware, dalla costruzione del loro primo NAS al dominio dei container Docker.

Liquid AI LFM2.5-24B-A2B official announcement cover artwork

LFM2.5-24B-A2B è un modello di ragionamento basato su una miscela di esperti, con 24 miliardi di parametri totali e circa 2 miliardi di parametri attivi per token. Il valore inferiore dei parametri attivi aiuta a spiegare la progettazione computazionale, ma non riduce il checkpoint a un requisito di memoria da 2 miliardi di parametri. Pianifica la capacità di storage e serving in base all’artefatto completo e al runtime.

Per un agente su home server, l’opportunità concreta consiste nell’eseguire localmente un modello su hardware adeguato, con strumenti dalle autorizzazioni strettamente limitate. Lo storage di ZimaSpace può conservare i file originali e i risultati verificati, mentre un worker adeguato si occupa dell’inferenza. L’esecuzione locale del modello è solo una parte del controllo su dove finiscono i dati dell’agente.

Che cosa significano i conteggi dei parametri totali e attivi?

Termine	Come interpretarli
24B parametri totali	L’insieme completo dei parametri del modello
2B parametri attivi	Parametri approssimativi utilizzati nel calcolo per ogni token
Rappresentazione dei pesi	Precisione e quantizzazione che incidono sulle dimensioni del payload
Contesto e concorrenza	Requisiti aggiuntivi del serving oltre ai pesi
Esecuzione agentica	Un ciclo di utilizzo degli strumenti separato e un confine di autorizzazione

Il routing della miscela di esperti modifica quali parti del modello sono attive. Ciò non significa che ogni implementazione di serving memorizzi solo quel sottoinsieme attivo.

Su cosa pone l’accento Liquid AI per il lavoro agentico?

La versione e la documentazione descrivono un modello di ragionamento addestrato per l’uso di strumenti e le attività articolate in più passaggi. Un modello supportato può partecipare a un harness agentico, ma ha comunque bisogno di un ambiente di esecuzione che definisca gli strumenti, verifichi gli argomenti e stabilisca quali azioni consentire.

Usa la guida alla preparazione dell’harness per distinguere il modello di inferenza dall’accesso ai file, al browser e al terminale. Un esempio di chat riuscito non dimostra che il ciclo autonomo di utilizzo degli strumenti funzioni.

Quanta memoria dovrei prevedere?

Parti dall’artefatto dei pesi effettivo e dal metodo di serving supportato. Il calcolo teorico stima circa 48 GB decimali per 24 miliardi di pesi a 16 bit e circa 12 GB decimali per i pesi a 4 bit. Sono esempi del payload dei pesi, non requisiti di installazione: metadati, componenti non quantizzati, buffer, contesto e overhead del runtime aumentano il totale.

La guida a memoria e runtime spiega come trasformare quel punto di partenza in una configurazione realizzabile. Non acquistare hardware basandoti solo sul numero di parametri attivi o su un calcolo teorico dei bit.

L’inferenza locale mantiene privata l’intera attività dell’agente?

Solo se il resto del flusso di lavoro rimane entro i limiti previsti. La ricerca remota, gli strumenti esterni, la registrazione dei log nel cloud e un modello di fallback possono trasmettere contenuti. Anche un servizio locale accessibile ampiamente in rete può estendere l’accesso oltre quello necessario per i file.

Segui la checklist delle autorizzazioni dell’agente e la guida al controllo dei dati dei documenti sul NAS. Limita la cartella di input dell’agente ai file necessari e mantieni l’output separato dagli originali.

Cosa dovrei valutare per prima cosa?

Scegli un artefatto compatibile con il tuo hardware e runtime, poi esegui una breve attività testuale e, successivamente, un’attività circoscritta con uno strumento. Controlla la risposta finale, gli argomenti dello strumento, l’uso delle risorse e il tempo necessario per ottenere un risultato utilizzabile. Annota la revisione esatta e la configurazione.

Se ti va bene anche usare un’API, leggi il confronto tra LFM2.5 e API DeepSeek. ZimaCube 2 può continuare a fungere da livello di archiviazione, indipendentemente dal percorso di inferenza che soddisfa i tuoi requisiti effettivi.

Domande frequenti

Con 2B di parametri attivi, il modello richiede la stessa memoria di un modello denso da 2B?

No. Considera le dimensioni dell’intero artefatto, la strategia di serving, il contesto, l’overhead del runtime e la concorrenza.

Il calcolo ideale dei pesi a 4 bit rappresenta il fabbisogno completo di RAM?

No. Non include i metadati di quantizzazione, i componenti mantenuti a una precisione diversa, i buffer né altre allocazioni necessarie per il serving.