Liquid AI LFM3 förklarat: Kan en multimodal modell med 2 miljarder parametrar köras lokalt?

Ja, LFM3 kan köras lokalt – men börja med rätt kontrollpunkt. Liquid AI släppte LFM3-familjen med öppna vikter den 27 oktober 2026. Textmodellen LFM3-1.7B har 1,73 miljarder parametrar och en angiven minnesåtgång på ungefär 1 GB för vikterna i 4-bitarsformat. En aktuell version av llama.cpp kan köra dess GGUF-kontrollpunkt på en lokal CPU eller en GPU som stöds. Det betyder inte att en komplett assistent för tal och vision bara använder 1 GB.

Det praktiska beslutet när du ska använda en dator eller ett NAS hemma är att välja text, vision, ljud eller omni innan du dimensionerar hårdvaran. Modelfilen, kodaren/avkodaren, buffertarna i körtidsmiljön, kontexttillståndet, bild- eller ljudindata och samtidiga förfrågningar använder alla resurser. Börja gärna med ett test av textmodellen i 4-bitarsformat, en kontext på 4K–8K och en enda förfrågan. Mät minnesanvändning och svarstid innan du aktiverar större indata eller andra NAS-tjänster.

Vad släppte Liquid AI egentligen med LFM3?

LFM3 är en samling av sex modeller i 2B-klassen, tränade från basmodellen LFM3-1.7B-Base: en textmodell, en vision-språkmodell, en ljudmodell, en omni-modell och två beslutsorienterade varianter. Liquid AI beskriver modellfamiljen som lämplig för specialiserade program på enheten. Det viktiga ordet är familj: om du laddar ner LFM3-1.7B får du inte automatiskt en bildkodare, mikrofonstöd eller en talavkodare. Se lanseringsmeddelandet för LFM3 och översikten över modellfamiljen.

LFM3-vikterna använder LFM Open License v1.0. ”Öppna vikter” är den korrekta beskrivningen: granska den faktiska licensen för den avsedda distributionen och kommersiella användningen i stället för att behandla den som en OSI-licens för programvara med öppen källkod. Modellkorten beskriver individuella begränsningar, bland annat att den kompakta textmodellen inte rekommenderas för komplexa resonemang i flera steg eller agentbaserad kodning.

Varför är den trihybrida arkitekturen viktig för kantenheter?

Textmodellens ryggrad på 1.73B har 24 lager: 13 lager med gated kortkonvolution, fem lager med attention över glidande fönster och sex lager med global attention, enligt det officiella modellkortet för textmodellen. Genom att blanda dessa metoder minskar behovet av att hantera varje token i varje lager som fullständig global attention, samtidigt som viss global kontext bevaras. Det är ett designval för låg latens och minneseffektivitet, inte ett sätt att slippa kostnaderna för långa promptar.

Liquid AI uppger att modellen har tränats på 22 biljoner token och hävdar att den ger högre kvalitet per parameter än tidigare LFM-modeller. Dessa siffror är resultat som utvecklaren har rapporterat och ska inte tolkas som oberoende riktmärken för hem-NAS. De arkitektoniska förbättringarna bidrar till att förklara varför en modell i klassen runt 2B kan vara användbar för extrahering, enklare frågesvar och dirigering av verktyg, men modellens förmåga beror fortfarande på uppgiftens svårighetsgrad, promptar och extern informationshämtning.

Hur mycket RAM, VRAM och lagringsutrymme behöver du egentligen?

En transparent beräkning hjälper: 1.73B × 4 bit / 8 ≈ 0.865 GB med idealiserade råvikter. Kvantiseringsmetadata och filpaketering ökar den siffran, vilket är anledningen till att Liquid AI beskriver textmodellen i 4-bitarsformat som att den tar upp cirka 1 GB. Men modellen behöver fortfarande kontexttillstånd, exekveringsbuffertar, minnesallokering och utrymme för programmet. Ett system som kör modellen kan förbruka betydligt mer än filstorleken.

Dessa är försiktiga testkonfigurationer, inte officiella minimikrav för modellen eller garanterade mål för tokens per sekund. De förutsätter en enda 4-bitars textkontrollpunkt, ingen stor samtidig arbetsbelastning och tillräckligt med ledigt lagringsutrymme.

En annonserad kontextlängd på 256K är en gräns som modellen stöder, inte en rekommenderad startinställning. Körmiljön kan behöva hålla betydligt mer tillstånd vid stora prompter och samtidiga sessioner. Använd ZimaSpace-guiden om RAM- och GPU-krav för lokala modeller och förklaringen av modellroutning utifrån hela minnesbehovet för att planera utifrån uppmätt resursanvändning i stället för att enbart utgå från antalet parametrar.

Vilken LFM3-modell ska du välja för en NAS hemma?

För lokal textchatt, taggning, extrahering och enkel verktygsdirigering är LFM3-1.7B det enklaste experimentet. För skannade dokument, stillbilder från kameror eller visuell inspektion väljer du LFM3-VL-2B; modellkortet anger en synkodare med 164 miljoner parametrar och en projektor med 25 miljoner parametrar, utöver språkmodellens grundmodell. Det officiella modellkortet för synmodellen anger också videons samplingsfrekvens och gränser för antal bildrutor. Att mata in video kräver mer resurser än att läsa en kort textprompt.

För röstinteraktioner är LFM3-Audio-2B ett ljudspecifikt system, inte en kostnadsfri uppgradering av text-GGUF-modellen. Det stöder flerspråkigt tal, transkribering och talade svar, medan strömningsprestandan beror på enheten. Välj LFM3-Omni-2B endast när arbetsflödet verkligen kombinerar flera modaliteter och den exakta backend-lösningen stöder kombinationen. En enda GPU som kör chatt-, syn- och ljudpipelines måste ha utrymme för den högsta samtidiga minnesanvändningen, som förklaras i vår guide till multimodala arbetsbelastningar på hemmets GPU.

Hur kan du köra LFM3-1.7B lokalt med llama.cpp?

Läs vår distributionsguide för llama.cpp 0.8.0 för information om körningsdelen av den här konfigurationen, inklusive skillnaden mellan textinferens och experimentell röst i realtid.

För ett reproducerbart första test börjar du med det publicerade GGUF-arkivet och llama.cpp v0.8.0 eller ett nyare LFM3-kompatibelt bygge. Exemplet använder den officiella varianten Q4_K_M och binder servern till loopback-adressen; det exponerar inte ett modell-API på internet. På en Linux-värd med Git, CMake och en kompatibel kompilator:

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git checkout v0.8.0
cmake -S . -B build
cmake --build build --config Release -j --target llama-server
./build/bin/llama-server \
  -hf LiquidAI/LFM3-1.7B-GGUF:Q4_K_M \
  -c 4096 --host 127.0.0.1 --port 8080

Öppna http://127.0.0.1:8080 på samma maskin, eller testa servern från dess terminal:

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"local","messages":[{"role":"user","content":"Förklara kvantisering med tre meningar."}],"max_tokens":128}'

Det exakta modell-ID:t för det OpenAI-kompatibla API:t kan variera beroende på serverkonfigurationen. Om ditt bygge inte godtar "local" frågar du först /v1/models och använder ID:t som returneras där. Att bygga standardbackend för CPU är en säker startpunkt; GPU-acceleration kräver att du väljer och testar en lämplig backend. Det officiella GGUF-kortet innehåller andra körningsalternativ, däribland Ollama och LM Studio. Se dem som alternativa körmiljöer, inte som bevis för att varje ZimaOS-paket redan innehåller exakt den här modellversionen.

För att testa synfunktioner senare använder du den dokumenterade LFM3-VL GGUF-kontrollpunkten och följer den officiella snabbstartsguiden för synfunktioner, så att rätt synprojektor läses in. Byt inte bara ut textmodellens namn i ett godtyckligt kommando och anta att bildinmatning fungerar.

Vad bör du kontrollera innan du bedömer att driftsättningen har lyckats?

1. Modellidentitet: bekräfta den valda GGUF-varianten och körtidsversionen, inte bara att en nedladdning slutförts.
2. Resurstak: notera hur mycket RAM/VRAM som används när systemet är inaktivt, under förbearbetning och med en längre prompt. Kontrollera att ZimaOS och andra NAS-appar har tillräckligt med marginal.
3. Fördröjning och kvalitet: mät promptbearbetning, genererade token per sekund, instruktionsföljning och korrekthet på fem representativa uppgifter.
4. Integritetsgräns: håll alla lokala API:er på loopback eller ett betrott privat nätverk. Autentisera och använd proxy för åtkomst medvetet om andra klienter behöver den.
5. Beständighet: lagra nedladdade modelfiler utanför startpartitionen och håll en tydlig åtskillnad mellan oföränderliga modellvikter och skrivbart apptillstånd. Se åtskillnad mellan modelfiler och körtidstillstånd och vår säkerhetsguide för driftsättning av lokala LLM:er.

Om en driftsättning fungerar på en stationär dator men misslyckas på en NAS bör du felsöka hela kedjan: storleken på den kvantiserade modellen, korrekt bind-mount, tillgängligt RAM, val av backend, kompatibilitet med processorns instruktioner, projektorer och kontextlängd. Checklistan för att verifiera modellens lagringsplats är ett användbart komplement.

Vanliga frågor

Är LFM3 helt öppen källkod?

Liquid AI publicerar öppna vikter under Open LFM License v1.0. Det betyder inte automatiskt att modellerna och träningskomponenterna uppfyller alla definitioner av programvara med öppen källkod. Läs licensen innan du distribuerar vidare eller tjänar pengar på en driftsättning.

Kan jag köra LFM3 på en dator eller NAS utan GPU?

Den lilla GGUF-textmodellen kan köras via en kompatibel llama.cpp-CPU-backend om operativsystemet och det tillgängliga RAM-minnet räcker till. Om den känns interaktiv beror på processorns prestanda, minnesbandbredden och promptens längd. Se 8 GB som en praktisk testnivå, inte som ett officiellt minimikrav.

Stöder LFM3-1.7B bild- eller talinmatning?

Inte på egen hand. Använd LFM3-VL för bilder/video, LFM3-Audio för tal eller LFM3-Omni när flera modaliteter behövs. De har olika kontrollpunkter och beroenden vid körning.

Behöver en 4-bitarsmodell på 1 GB bara 1 GB RAM?

Nej. Den siffran avser ungefärliga kvantiserade textvikter. Serverprocessen kräver dessutom tillståndsminne, buffertar för körmiljön, tokencachar och minne för operativsystemet. Långa kontexter och flera användare kan stå för merparten av skillnaden.

Är kontext på 256K tillgänglig i alla LFM3-modeller?

Nej. Textmodellen anger 256K, synmodellen anger 128K och ljudmodellen 32K. Även om ett maxvärde stöds innebär det inte att en viss enhet med 8 GB kan hantera det utan problem.

Kan ZimaCube 2 eller ZimaOS köra LFM3 i dag?

En lokal inferensstack är tekniskt genomförbar när den valda hårdvaran, modellen och körmiljön passar ihop. ZimaCube 2 är också användbar för privat lagring av modeller och dokument samt för apptjänster. Kontrollerna ovan innebär inte att en ZimaOS-installation med LFM3 har certifierats oberoende eller att någon genomströmning har uppmätts.

Slutsats

LFM3 gör liten, specialiserad AI direkt på enheten mer praktisk, men valet av kontrollpunkt spelar större roll än den iögonfallande beskrivningen ”2B multimodal”. Den tydligaste första vinsten för en hemserver är en 4-bitars LFM3-1.7B-textmodell med kort kontext och kontrollerad arbetsbelastning. Lägg till syn och tal först när den specifika kontrollpunkten, stödet i körmiljön och uppmätt minnesanvändning motiverar det.

För en ZimaSpace-installation bör lagring, inferens och åtkomst till appar ses som separata beslut. En hem-NAS kan lagra modellfiler, skydda personliga dokument och samordna lokala arbetsflöden även när en kraftfullare dator kör modellen. Om du blir intresserad av betydligt större system med öppna vikter visar analysen av lokal Kimi K3-hårdvara hur mycket minneskraven förändras med antalet parametrar.

Källor och avgränsning

Officiellt material kontrollerat 29 oktober 2026: Liquid AIs lanseringsblogg, översikt över modellfamiljen, modellkort för textmodellen, modellkort för synmodellen, modellkort för ljudmodellen och llama.cpp-versionen v0.8.0. Prestandapåståenden tillskrivs utvecklarna; hårdvaruklasser och rekommendationer för användning är redaktionella uppskattningar, inte ZimaSpace-benchmarkresultat.

Omslagsbild: Liquid AI, miniatyrbild från den officiella lanseringsvideon för LFM3.