Liquid AI LFM3 uitgelegd: kan een multimodaal model van 2B lokaal draaien?

Ja, LFM3 kan lokaal draaien, maar begin met het juiste checkpoint. Liquid AI heeft de LFM3-familie met open gewichten uitgebracht op 27 oktober 2026. Het tekstmodel, LFM3-1.7B, heeft 1,73 miljard parameters en een opgegeven gewichtsgrootte van ongeveer 1 GB bij 4-bit. Een actuele versie van llama.cpp kan het GGUF-checkpoint uitvoeren op een lokale CPU of een ondersteunde GPU. Dat betekent niet dat een complete spraak- en visieassistent slechts 1 GB verbruikt.

Voor een pc of NAS voor thuis is het verstandig eerst tekst, visie, audio of omni te kiezen voordat je de benodigde hardware bepaalt. Het modelbestand, de encoder/decoder, runtimebuffers, de contextstatus, beeld- of audio-invoer en gelijktijdige aanvragen verbruiken allemaal resources. Kies voor een eerste test het 4-bit-tekstmodel, een context van 4K–8K en één aanvraag; meet het geheugengebruik en de latentie voordat je grotere invoer of andere NAS-services inschakelt.

Wat heeft Liquid AI precies uitgebracht met LFM3?

LFM3 is een verzameling van zes modellen in de 2B-klasse die zijn getraind op de LFM3-1.7B-Base-backbone: een tekstmodel, een vision-language-model, een audiomodel, een omni-model en twee op besluitvorming gerichte varianten. Liquid AI beschrijft de familie als geschikt voor gespecialiseerde toepassingen op apparaten. Het belangrijke woord is familie: door LFM3-1.7B te downloaden, krijg je niet automatisch een beeldencoder, microfoonondersteuning of spraakdecoder. Bekijk de aankondiging van de lancering van LFM3 en het overzicht van de modelfamilie.

De LFM3-gewichten vallen onder de LFM Open License v1.0. ‘Open-weights’ is de juiste omschrijving: controleer de daadwerkelijke licentie voor het beoogde verspreidings- en commerciële gebruik, in plaats van deze te behandelen als een OSI-open-sourcesoftwarelicentie. De modelkaarten beschrijven afzonderlijke beperkingen, waaronder dat het compacte tekstmodel niet wordt aanbevolen voor complexe redeneringen in meerdere stappen of agentische codering.

Waarom is de tri-hybride architectuur belangrijk voor edge-apparaten?

De tekstbackbone van 1.73B heeft volgens de officiële tekstmodelkaart 24 lagen: 13 gated short-convolution-lagen, vijf sliding-window-attention-lagen en zes global-attention-lagen. Door deze bewerkingen te combineren, hoeft niet elk token in elke laag te worden verwerkt alsof er sprake is van volledige global attention, terwijl er toch enige globale context behouden blijft. Dit is een ontwerpkeuze voor lage latentie en geheugenefficiëntie, geen vrijstelling van de kosten van lange prompts.

Liquid AI meldt dat het model is getraind op 22 biljoen tokens en claimt een betere kwaliteit per parameter dan eerdere LFM-modellen. Die cijfers zijn door de ontwikkelaar gerapporteerde resultaten; ze mogen niet worden opgevat als onafhankelijke benchmarks voor thuis-NAS-systemen. De architecturale verbeteringen helpen verklaren waarom een model van ongeveer de 2B-klasse nuttig kan zijn voor extractie, eenvoudige vraagbeantwoording en het doorsturen naar tools, maar de mogelijkheden van het model zijn nog steeds afhankelijk van de moeilijkheidsgraad van de taak, de prompt en externe informatie-opvraging.

Hoeveel RAM, VRAM en opslagruimte heb je echt nodig?

Een transparante berekening helpt: 1.73B × 4 bits / 8 ≈ 0.865 GB aan geïdealiseerde ruwe gewichten. Kwantisatiemetadata en bestandsverpakking verhogen dat getal, daarom geeft Liquid AI aan dat het 4-bits tekstmodel ongeveer 1 GB in beslag neemt. Maar het model heeft ook contextstatus, uitvoeringsbuffers, geheugenbeheerders en applicatie-overhead nodig. Een draaiend systeem kan aanzienlijk meer verbruiken dan de bestandsgrootte.

Dit zijn voorzichtige testconfiguraties, geen officiële minimumvereisten voor het model of gegarandeerde tokens-per-seconde-doelen. Ze gaan uit van één tekstcheckpoint met 4-bit-kwantisering, geen grote gelijktijdige workload en voldoende vrije opslagruimte.

Een geadverteerde contextlengte van 256K is een ondersteunde modellimiet, geen aanbevolen startinstelling. Bij grote prompts en gelijktijdige sessies kan de runtime aanzienlijk meer geheugen in beslag nemen. Gebruik de ZimaSpace-gids over RAM- en GPU-vereisten voor lokale modellen en de uitleg over modellen routeren op basis van het totale geheugengebruik om te plannen op basis van het gemeten resourcegebruik, niet alleen van het aantal parameters.

Welk LFM3-model kies je voor een thuis-NAS?

Voor lokale tekstdialogen, tagging, extractie en lichte toolroutering is LFM3-1.7B het eenvoudigste experiment. Kies voor gescande documenten, camerabeelden of visuele inspectie LFM3-VL-2B; de modelkaart vermeldt naast de taalbackbone een vision-encoder van 164M parameters en een projector van 25M parameters. De officiële modelkaart voor vision vermeldt ook de videosampling en framelimieten. Video invoeren kost meer dan een korte prompt met alleen tekst verwerken.

Voor spraakinteracties is LFM3-Audio-2B een specifiek audiosysteem, geen gratis upgrade voor de tekst-GGUF. Het ondersteunt meertalige spraak, transcriptie en spraakreacties, terwijl de streamingprestaties afhankelijk zijn van het apparaat. Kies LFM3-Omni-2B alleen wanneer de workflow daadwerkelijk verschillende modaliteiten combineert en de exacte backend die combinatie ondersteunt. Een enkele GPU die chat-, vision- en audiopipelines host, moet rekening houden met het piekgeheugen bij gelijktijdig gebruik, zoals uitgelegd in onze gids voor multimodale workloads op een thuis-GPU.

Hoe voer je LFM3-1.7B lokaal uit met llama.cpp?

Zie voor het runtimegedeelte van deze setup onze handleiding voor de implementatie van llama.cpp 0.8.0, inclusief het verschil tussen tekstinferentie en experimentele realtime spraak.

Begin voor een reproduceerbare eerste controle met de gepubliceerde GGUF-repository en llama.cpp v0.8.0 of een nieuwere build die compatibel is met LFM3. Het voorbeeld gebruikt de officiële variant Q4_K_M en bindt de server aan loopback; het stelt geen model-API bloot aan het internet. Op een Linux-host met Git, CMake en een compatibele compiler:

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
git checkout v0.8.0
cmake -S . -B build
cmake --build build --config Release -j --target llama-server
./build/bin/llama-server \
  -hf LiquidAI/LFM3-1.7B-GGUF:Q4_K_M \
  -c 4096 --host 127.0.0.1 --port 8080

Open http://127.0.0.1:8080 op diezelfde machine, of test de server vanuit de terminal:

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"local","messages":[{"role":"user","content":"Leg kwantisering uit in drie zinnen."}],"max_tokens":128}'

De exacte model-ID van de OpenAI-compatibele API kan verschillen per serverconfiguratie. Als je build "local" afwijst, vraag dan eerst /v1/models op en gebruik de ID die daar wordt geretourneerd. De standaard-CPU-backend bouwen is een veilige start; voor GPU-versnelling moet je een geschikte backend selecteren en testen. De officiële GGUF-pagina biedt andere runtime-opties, waaronder Ollama en LM Studio. Beschouw dit als alternatieve runtimes, niet als bewijs dat elk ZimaOS-pakket deze exacte modelversie al bevat.

Om later beeldherkenning te testen, gebruik je het gedocumenteerde LFM3-VL GGUF-checkpoint en volg je de officiële quickstart voor beeldherkenning, zodat de bijbehorende projector voor beeldherkenning wordt geladen. Vervang niet zomaar de naam van het tekstmodel in een willekeurig commando en ga ervan uit dat beeldinvoer werkt.

Wat moet je controleren voordat je de implementatie geslaagd noemt?

1. Modelidentiteit: controleer de gekozen GGUF-variant en runtimeversie, niet alleen of het downloaden is voltooid.
2. Resourceplafond: noteer het RAM-/VRAM-gebruik in rust, tijdens prefill en bij een langere prompt; controleer of ZimaOS en andere NAS-apps voldoende ruimte overhouden.
3. Latentie en kwaliteit: meet de promptverwerking, het aantal gegenereerde tokens per seconde, het opvolgen van instructies en de nauwkeurigheid bij vijf representatieve taken.
4. Privacygrens: houd lokale API's op loopback of een vertrouwd privénetwerk; beveilig de toegang met authenticatie en een proxy als andere clients toegang nodig hebben.
5. Persistentie: sla gedownloade modelbestanden op buiten de opstartpartitie en houd een duidelijke scheiding tussen onveranderlijke gewichten en schrijfbare appstatus. Bekijk de scheiding tussen modelbestanden en runtimestatus en onze veiligheidsgids voor de implementatie van lokale LLM's.

Als een implementatie op een desktop werkt maar op een NAS mislukt, controleer dan het hele traject: de grootte van het gekwantiseerde model, de juiste bind mount, beschikbaar RAM, de keuze van de backend, compatibiliteit met CPU-instructies, projectors en contextlengte. De checklist voor het controleren van modelopslag is een handige aanvulling.

Veelgestelde vragen

Is LFM3 volledig opensource?

Liquid AI publiceert open gewichten onder de Open Licentie v1.0 van LFM. Dat betekent niet automatisch dat de modellen en trainingscomponenten voldoen aan elke definitie van opensourcesoftware; lees de licentie voordat je een implementatie herdistribueert of er geld mee verdient.

Kan ik LFM3 draaien op een pc of NAS zonder GPU?

Het kleine GGUF-tekstmodel kan draaien via een compatibele CPU-backend van llama.cpp, als het besturingssysteem en het beschikbare RAM dit toelaten. Of het interactief aanvoelt, hangt af van de CPU-prestaties, geheugenbandbreedte en promptlengte. Beschouw 8 GB als een praktische testcategorie, niet als een officieel minimum.

Ondersteunt LFM3-1.7B invoer van afbeeldingen of spraak?

Niet op zichzelf. Gebruik LFM3-VL voor afbeeldingen en video, LFM3-Audio voor spraak of LFM3-Omni wanneer gecombineerde modaliteiten nodig zijn. Elk model heeft andere checkpoints en runtime-afhankelijkheden.

Heeft een 4-bitmodel van 1 GB maar 1 GB RAM nodig?

Nee. Dat getal verwijst bij benadering naar de gekwantiseerde tekstgewichten. Het uitvoeringsproces gebruikt daarnaast geheugen voor status, runtimebuffers, tokencaches en het besturingssysteem. Lange contexten en meerdere gebruikers kunnen het verschil aanzienlijk vergroten.

Is een context van 256K beschikbaar voor elk LFM3-model?

Nee. Het tekstmodel vermeldt 256K; het visiemodel specificeert 128K en het audiomodel 32K. Zelfs een ondersteunde maximumwaarde garandeert niet dat een specifiek apparaat met 8 GB het model comfortabel kan uitvoeren.

Kunnen ZimaCube 2 of ZimaOS LFM3 momenteel uitvoeren?

Een lokale inferentiestack is technisch haalbaar als de gekozen hardware, het model en de runtime op elkaar zijn afgestemd. ZimaCube 2 is ook geschikt voor privéopslag van modellen, documenten en applicatiediensten. De bovenstaande controles zijn geen bewering dat er een onafhankelijk gecertificeerde ZimaOS-installatie met LFM3 bestaat of dat de doorvoer is gemeten.

Conclusie

LFM3 maakt kleine, gespecialiseerde AI op apparaten praktischer, maar de keuze van het checkpoint is belangrijker dan de kop “2B multimodaal”. De duidelijkste eerste stap voor een thuisserver is een 4-bit LFM3-1.7B-tekstmodel met een korte context en een gecontroleerde werklast. Voeg beeld en spraak alleen toe als het specifieke checkpoint, de runtime-ondersteuning en het gemeten geheugengebruik die wijziging rechtvaardigen.

Beschouw voor een ZimaSpace-opstelling opslag, inferentie en toegang tot applicaties als afzonderlijke keuzes. Een NAS voor thuis kan modelbestanden opslaan, persoonlijke documenten beschermen en lokale workflows coördineren, zelfs wanneer een krachtigere machine het model uitvoert. Als je interesse zich uitbreidt naar veel grotere systemen met open gewichten, laat de analyse van lokale Kimi K3-hardware zien hoe sterk de geheugenlimiet verandert met de omvang van het model.

Bronnen en reikwijdte

Officiële materialen gecontroleerd op 29 oktober 2026: lanceringsblog van Liquid AI, overzicht van de modelreeks, modelkaart voor het tekstmodel, modelkaart voor het visiemodel, modelkaart voor het audiomodel en de llama.cpp v0.8.0-release. Prestatieclaims zijn toegeschreven aan de ontwikkelaars; hardwareklassen en aanbevelingen voor gebruik zijn redactionele schattingen, geen benchmarkresultaten van ZimaSpace.

Omslagafbeelding: Liquid AI, thumbnail van de officiële LFM3-lanceringsvideo.