Aan hoeveel gelijktijdige gebruikers kan één thuis-AI-model diensten verlenen voordat de latentie instabiel wordt?
Eén lokaal AI-model kan doorgaans betrouwbaar één tot meerdere interactieve gebruikers bedienen, maar de stabiele limiet hangt af van de tokenvraag, batching en de gewenste latentie.
Een model dat 30 tokens per seconde produceert, kan snel aanvoelen voor één korte chat, maar vertragen wanneer vier mensen tegelijk lange prompts indienen. Gelijktijdigheid verbruikt KV-cachegeheugen, deelt de decodecapaciteit en veroorzaakt pieken in de wachtrij. De juiste limiet is de hoogste aangeboden belasting waarbij tijdens normaal gezinsgebruik nog steeds een gedefinieerde p95-doelstelling voor de eerste token en de tokensnelheid wordt gehaald.
Gelijktijdigheid Zet Throughput Om In Wachttijd
Een ruwe capaciteitsinschatting deelt de aanhoudende generatiedo throughput door het gemiddelde aantal tokens dat actieve sessies per seconde aanvragen. Wanneer de vraag de servicecapaciteit nadert, veroorzaken kleine pieken lange wachtrijen. Gebruikers zijn geen identieke eenheden; een antwoord van 50 tokens belast de server anders dan een antwoord van 2.000 tokens.
Een analyse van latentie en throughput legt uit dat batching de totale throughput verbetert, maar vaak ten koste gaat van de latentie van individuele antwoorden. Die spanning bepaalt of extra sessies stabiel aanvoelen.
Het vooraf verwerken van prompts kan decodeerwerk ook blokkeren, afhankelijk van de scheduler. Twee gebruikers die grote documenten plakken, kunnen iedereen meer hinderen dan zes gebruikers die korte vragen stellen. Een gebruikersaantal zonder verdelingen van prompts en uitvoer is daarom niet overdraagbaar.
KV-cache en Planning Creëren Een Tweede Limiet
Elke actieve reeks slaat aandachtsleutels en -waarden voor zijn context op. Langere geschiedenissen en grotere batches verhogen het KV-cachegebruik totdat aanvragen worden geweigerd, verwisseld of vertraagd. Continue batching kan tussen decodeeriteraties nieuw werk toelaten, waardoor de benutting verbetert, maar creëert geen gratis geheugen.
Een technische uitleg van continue batching laat zien hoe planning op iteratieniveau anders ongebruikte batchplaatsen vult. Het voordeel is afhankelijk van de werklast en kan de concurrentie per aanvraag iets verhogen.
De latentie wordt instabiel wanneer de verzadiging nadert, omdat de wachtrijlengte sterk reageert op variatie in aankomsten. De gemiddelde latentie kan geleidelijk toenemen, terwijl p95 en de maximale latentie sterk stijgen. De stabiele capaciteit moet onder dat knikpunt liggen, niet op het hoogste aantal tokens per seconde uit de benchmark.
Waar Een Gebruikersaantal De Ervaring Niet Langer Voorspelt
Dezelfde server kan meer gebruikers ondersteunen voor autocomplete dan voor RAG, toolgebruik of lange tekstgeneratie. Cold starts, thermische throttling, retrieval en spraaksynthese voegen stappen toe buiten het aanbieden van het model. Een modelgebaseerd concurrencycijfer kan geen responsiviteit van de volledige toepassing garanderen.
Een handleiding voor model serving over geheugen voor model serving beschrijft geheugen, context, batching en parallellisme als onderling samenhangende beperkingen. Door één ervan te wijzigen, kan het capaciteitsknikpunt verschuiven.
De voorspelling gaat ook niet op als gezinsverzoeken in gesynchroniseerde pieken binnenkomen in plaats van onafhankelijk. Vier gebruikers die zelden tegelijk actief zijn, kunnen eenvoudig te ondersteunen zijn, terwijl twee geautomatiseerde agents het model continu kunnen verzadigen. Meet het aangeboden werk, niet het aantal geregistreerde accounts.
Vind Het Concurrencyknikpunt Met Een Belastingtest
Herhaal realistische korte, gemiddelde en lange verzoeken met één, twee, vier en acht gelijktijdige sessies. Houd model, quantisatie, contextlimiet en sampling constant. Registreer wachttijd, latentie tot de eerste token, latentie tussen tokens, voltooiingspercentage, KV-cachegebruik en p50-, p95- en maximale waarden.
Gebruik de architectuur van gedeelde modelsessies als testcontext wanneer meerdere huishoudsessies één model delen. Houd RAG- en toolstappen uitgeschakeld of meet ze afzonderlijk.
Definieer de stabiele limiet als de hoogste gelijktijdigheid waarbij de p95-latentie tot de eerste token binnen de huishoudelijke doelstelling blijft, zonder oplopende wachtrijtrend of geheugenfouten. Houd 20–30 procent throughputreserve aan voor pieken. Test opnieuw wanneer de contextlengte, het model of de scheduler verandert.
Aanbevolen producten
Tech & AI HUB
Meer om te lezen
Hoe je de kwaliteit van lokale RAG-opvragingen meet en recall, precisie en citatiedekking interpreteert
Bouw een lokale RAG-testset, bereken de belangrijkste retrievalmetrics, interpreteer de afwegingen ertussen en controleer of beweringen in antwoorden worden ondersteund door aangehaald bewijs.
Waarom wordt computation in smart homes belangrijker naarmate het aantal sensoren toeneemt bij dezelfde bemonsteringsfrequentie?
Houd de berekeningen per sensor en tussen sensoren bij naarmate het aantal apparaten toeneemt, identificeer niet-lineaire fusiekosten en benchmark de functiepijplijn voordat automatiseringen vertraging...
Waarom worden de kosten van RAG-evaluatie belangrijker naarmate de documentbibliotheek groeit bij hetzelfde aantal zoekopdrachten?
Begrijp waarom groei van het corpus de evaluatie-inspanning voor RAG verhoogt zonder meer gebruikersvragen, en hoe gestratificeerde tests de kosten aan het risico koppelen.
