LFM2.5-24B-A2B uitgelegd: wat totale en actieve parameters betekenen voor lokale AI-agents

LFM2.5-24B-A2B is een redeneermodel van het mixture-of-experts-type met in totaal 24 miljard parameters en ongeveer 2 miljard actieve parameters per token. Het lagere aantal actieve parameters helpt de rekenkundige opzet te verklaren, maar betekent niet dat het checkpoint slechts 2 miljard parameters aan geheugen vereist. Plan de opslag- en servercapaciteit op basis van het volledige bestand en de runtime.

Voor een agent op een homeserver is een lokaal beheerd model een interessante mogelijkheid, mits het op geschikte rekenkracht draait en met strikt afgebakende tools werkt. ZimaSpace-opslag kan originele bestanden en beoordeelde resultaten bewaren, terwijl een geschikte worker de inferentie uitvoert. Een model lokaal uitvoeren is slechts één onderdeel van bepalen waar de gegevens van een agent naartoe gaan.

Wat betekenen de totale en actieve aantallen parameters?

Routering met een mixture-of-experts verandert welke delen van het model actief zijn. Dat betekent niet dat elke serverimplementatie alleen die actieve subset opslaat.

Wat benadrukt Liquid AI voor agenttaken?

In de release en documentatie wordt het model beschreven als een redeneermodel dat is getraind voor toolgebruik en meerstapstaken. Een ondersteund model kan deelnemen aan een agent-harness, maar heeft nog steeds een uitvoeringsomgeving nodig die tools definieert, argumenten controleert en bepaalt welke acties zijn toegestaan.

Gebruik de gids voor de voorbereiding van de harness om onderscheid te maken tussen het inferentiemodel en toegang tot bestanden, de browser en de terminal. Een werkend chatvoorbeeld bewijst niet dat een autonome toolcyclus werkt.

Hoeveel geheugen heb ik nodig?

Begin met het daadwerkelijke gewichtsbestand en de ondersteunde manier van serveren. Volgens een ideale berekening wegen 24 miljard 16-bits gewichten ongeveer 48 GB decimaal en 4-bits gewichten ongeveer 12 GB decimaal. Dit zijn voorbeelden van de omvang van de gewichtspayload, geen installatievereisten: metadata, niet-gekwantiseerde onderdelen, buffers, context en runtime-overhead komen daar nog bij.

In de gids voor geheugen en runtime wordt uitgelegd hoe je van dat uitgangspunt tot een haalbare configuratie komt. Koop geen hardware uitsluitend op basis van het aantal actieve parameters of een ideale berekening van de bitdiepte.

Houdt lokale inferentie de hele agent privé?

Alleen als de rest van de workflow binnen de beoogde grens blijft. Extern zoeken, externe tools, cloudlogboeken en een terugvalmodel kunnen inhoud verzenden. Een lokale service die breed toegankelijk is via een netwerk kan de toegang ook uitbreiden tot buiten wat de bestanden nodig hebben.

Volg de controlelijst voor agentmachtigingen en de gids voor gegevensbeheer van NAS-documenten. Beperk de invoermap van de worker en houd de uitvoer gescheiden van de originelen.

Wat moet ik als eerste evalueren?

Kies een artefact dat door je hardware en runtime wordt ondersteund en voer daarna een korte teksttaak uit, gevolgd door een afgebakende tooltaak. Controleer het eindantwoord, de toolargumenten, het resourcegebruik en de tijd tot een bruikbaar resultaat. Noteer de exacte revisie en configuratie.

Als een API-route ook acceptabel is, lees dan de vergelijking tussen LFM2.5 en DeepSeek API. ZimaCube 2 kan de opslaglaag blijven, ongeacht welke inferentieroute aan je werkelijke vereisten voldoet.

Veelgestelde vragen

Betekent 2B actief dat het model evenveel geheugen nodig heeft als een dicht model van 2B?

Nee. Houd rekening met het totale artefact, de serverstrategie, de context, de runtime-overhead en gelijktijdigheid.

Is de ideale berekening voor 4-bits gewichten een volledige RAM-vereiste?

Nee. Kwantisatiemetadata, componenten die op een andere precisie behouden blijven, buffers en andere toewijzingen voor het serveren zijn niet inbegrepen.

Heeft het model automatisch toegang tot mijn NAS?

Nee. Een client of harness moet bestandstools of mounts en de bijbehorende machtigingen beschikbaar stellen.

Kan een lokaal model privégegevens toch elders naartoe sturen?

Ja. Externe tools, terugvalservices, logboeken en latere verwerkingsstappen kunnen inhoud verzenden.

Gerelateerde artikelen

• Zo controleer je de geheugen- en runtimevereisten voordat je LFM2.5-24B-A2B uitvoert
• LFM2.5-24B-A2B versus DeepSeek API: wat past bij de workflow van je thuisserveragent?

Bronnen

• Officiële aankondiging en modeldocumentatie — www.liquid.ai
• Technische documentatie en referentie — docs.liquid.ai

Omslag: officiële aankondigingsafbeelding van Liquid AI LFM2.5-24B-A2B. Bron afbeelding.