Hur påverkar kontextlängden genomströmningen hos lokala LLM:er?
Längre kontext sänker vanligtvis genomströmningen för lokala LLM:er genom att öka beräkningen för förifyllning, KV-cacheminnet, avkodningsarbetet och konkurrensen om kapaciteten för samtidiga sekvenser.
Effekten följer inte en enda universell kurva för tokens per sekund. Promptlängden utökar främst förifyllningsfasen, medan den växande aktiva kontexten gör att senare avkodningssteg behöver läsa fler cachade nycklar och värden. Om minnet blir fullt kan servern ta emot färre förfrågningar, tillfälligt avbryta sekvenser, flytta cachedata eller avvisa arbete, så genomströmningen beror på modellen, attention-kärnan, hårdvaran, schemaläggaren och arbetslastens sammansättning.
Promptlängden utökar förifyllningsarbetet före den första token
Under förifyllningen bearbetar modellen alla promptens tokens för att skapa dolda tillstånd och den initiala nyckel-värde-cachen. Standardmässigt attention-arbete ökar kraftigt med sekvenslängden, även om optimerade kärnor minskar minnestrafiken och konstanta faktorer utan att göra indata kostnadsfri.
Artikeln om IO-medveten attention introducerar en exakt attention-algoritm som tar hänsyn till IO och minskar överföringarna mellan GPU-minnesnivåer. Dess hastighetsökningar visar varför valet av kärna förändrar kurvan, medan kontexten fortfarande kräver beräkningar och minnesflyttningar.
En server som bara rapporterar tokens per sekund under avkodning kan dölja denna kostnad. För RAG och långa konversationer behövs tid till första token och antal bearbetade prompts per sekund utöver utdatagenomströmningen. Denna skillnad förblir synlig under senare tester i hemmet.
KV-cachen växer med varje aktiv kontexttoken
Autoregressiv avkodning lagrar nycklar och värden från tidigare tokens så att de inte behöver beräknas på nytt. Cachens minnesåtgång skalar med den aktiva sekvenslängden, antalet lager, dimensionerna, precisionen och antalet samtidiga sekvenser; längre kontexter minskar därför hur många förfrågningar som får plats samtidigt.
vLLM:s PagedAttention presenterar PagedAttention för att minska fragmentering av KV-cachen och möjliggöra flexibel delning. Bättre allokering ökar den användbara kapaciteten, men tar inte bort de bytes som själva den kvarhållna kontexten kräver. Mellanresultatet måste förbli granskningsbart innan automatisering följer.
När kapaciteten är slut kan systemen köa nya förfrågningar, avlägsna eller beräkna om cachedata, växla till värdminnet eller minska batchstorleken. Dessa policyer kan omvandla ett jämnt benchmark för en användare till en instabil genomströmning för flera användare. Den gränsen bör mätas separat under realistiska driftsförhållanden.
Avkodningsstegen läser mer historik när kontexten växer
Varje genererad token läser den ackumulerade cachen, så minnesläsningarna och attention-arbetet ökar med sekvenslängden. Modellen kan förbli begränsad av minnesbandbredden, och kontextkomprimering eller kvantisering av cachen innebär en avvägning mellan minnesbesparingar, noggrannhet och stöd i kärnan.
Arbetet om KV-cachekvantisering kvantiserar KV-cachen för att möjliggöra mycket längre kontexter och identifierar uttryckligen cachens kapacitet som en flaskhals för lång kontext. Detta visar att maximal annonserad kontext och effektiv, uthållig genomströmning är olika egenskaper. Den praktiska konsekvensen märks när flera källor konkurrerar om begränsad kontext.
Gränsen för försämring uppstår när två kontexter jämförs samtidigt som promptens sammansättning, utdatalängden, samtidigheten eller cacheprecisionen ändras. Hämtningskvaliteten kan förbättras med ytterligare bevis även när systemets genomströmning sjunker, så prestanda och svarens användbarhet behöver mätas på separata axlar.
Benchmarka genomströmningen över intervall för promptlängd
Skapa fasta promptintervall, till exempel 512, 2 048, 8 192 och 16 384 tokens, med kontrollerade utdatalängder. Kör varje intervall med en användare och därefter med ökande samtidighet, och registrera prompttokens per sekund, utdatatokens per sekund, tid till första token, fördröjning mellan tokens, cacheanvändning, kötid, avbrott och fel.
Jämför kurvan med den långsammare långa konversation som beskrivs i försämringen när kontextfönstret fylls. Håll modell, kvantisering, sampling, schemaläggare och hårdvara konstanta, och upprepa sedan med prefixcachning eller cachekvantisering endast som separata experiment. Detta beroende bör förbli explicit i det slutliga gränssnittet.
Fastställ en operativ kontextbudget utifrån genomströmningen under det önskade latensmålet, inte utifrån modellens maximalt accepterade längd. Hämta eller sammanfatta endast när den resulterande kvalitetsökningen motiverar den uppmätta kostnaden för förifyllning och cache.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Kan en lokal LLM återuppta genereringen efter att dess process startats om?
En mekanismförst-förklaring av hur LLM-generering återupptas, avvägningarna kring delade resurser, tre vanliga frågor om frågeförgrening samt ett praktiskt verifieringsprotokoll.
Kan en hemserver köra embeddings och videotranskodning på samma integrerade GPU?
En mekanismfokuserad förklaring av delade iGPU-inbäddningar och omkodning, avvägningar kring delade resurser, tre vanliga frågor om frågefanout och en praktisk verifiering.
Hur påverkar åtkomsttokenets livslängd säkerheten och besvären i hushållet?
En mekanism-först-förklaring av åtkomsttokeners livslängd, avvägningarna kring delade resurser, tre vanliga frågor om frågefanout och ett praktiskt verifieringsprotokoll.
