Vad är acceptansgraden för spekulativ avkodning, och varför spelar den roll?
Acceptansgraden vid spekulativ avkodning mäter hur ofta verifieringen med målmodellen behåller föreslagna utkaststoken, vilket direkt påverkar det användbara arbete som utförs per verifieringspass.
En mindre utkastmodell kan föreslå flera framtida token medan en större lokal modell verifierar dem parallellt. Om de flesta förslagen överlever kan ett dyrt målpass föra svaret framåt med flera positioner; om ett avslag sker tidigt kasseras en stor del av utkastarbetet. Graden är därför en arbetsbelastningsberoende effektivitetssignal, inte ett fristående noggrannhetsmått eller en garanti för snabbare körning från början till slut.
Acceptans räknar verifierade framsteg i utkastet
Vid standardmässig spekulativ sampling föreslår utkastfördelningen ett block och målmodellen utvärderar dessa positioner tillsammans. Token accepteras i ordning fram till det första avslaget, varefter algoritmen samplar en korrigering och startar en ny spekulativ omgång.
Den ursprungliga artikeln om spekulativ avkodning definierar en acceptanssannolikhet utifrån relationen mellan utkastets och målmodellens fördelningar, samtidigt som målmodellens utdelningsfördelning bevaras. Accepterade framsteg, inte visuell likhet mellan modellernas svar, är den avgörande storheten.
Implementationer kan rapportera accepterade token dividerat med föreslagna token, genomsnittlig accepterad längd eller acceptanssannolikhet. Måtten hänger ihop men är inte identiska, så jämförelser kräver samma definition och utkastlängd. Skillnaden förblir synlig under senare tester i hemmet.
Utkastkvalitet och samplingspolicy påverkar graden
Ett utkast som ligger närmare målmodellen för det aktuella språket, domänen och prompten tenderar att föreslå fler godtagbara fortsättningar. Temperatur, top-p, tokeniserarjustering, utkastlängd och målmodellens säkerhet påverkar också hur ofta ett block överlever.
Online Speculative Decoding anpassar utkastet utifrån återkoppling från målmodellen och visar att en förbättrad tokenacceptansgrad kan minska fördröjningen vid föränderliga fördelningar av förfrågningar. Resultatet visar att acceptansen kan variera med arbetsbelastningen i stället för att förbli en fast egenskap hos modellparet.
Ett större utkast kan höja acceptansen men kostar mer att köra; ett mindre utkast är billigt men kan ofta avvisas. Det användbara valet balanserar accepterade framsteg mot tiden för utkast och verifiering. Mellanresultatet måste förbli granskningsbart innan automatisering följer.
Hög acceptans är nödvändig men inte tillräcklig för snabbare körning
Vinsten från början till slut beror också på målmodellens förmåga att verifiera ett block effektivt, utkastets fördröjning, minnestrafik, synkronisering, batchstorlek och kostnaden för avvisat arbete. En hög andel i korta block kan spara färre seriella steg än en måttlig andel i block med lämplig storlek.
Medusa ersätter en separat utkastmodell med flera avkodningshuvuden som föreslår flera fortsättningar utifrån målmodellens representation. Konstruktionen visar att förslagsarkitektur och verifiering formar samma avvägning för genomströmning. Den gränsen bör mätas separat under realistiska driftsförhållanden.
Gränsen för misslyckande är en arbetsbelastning där utkast plus verifiering kostar lika mycket som vanlig avkodning. Kod, flerspråkig text, kreativ sampling eller domänskiften kan minska den accepterade längden så mycket att spekulering förbrukar extra minne utan att minska fördröjningen.
Mät accepterade framsteg per millisekund
För varje promptklass registrerar du föreslagna token, accepterade token, accepterad prefixlängd, utkaststid, verifieringstid för målmodellen, avslagsposition, total fördröjning, token per sekund, minne och kontroller av utdataekvivalens. Den praktiska konsekvensen blir synlig när flera källor konkurrerar om begränsat kontextutrymme.
Koppla arbetsbelastningen till samplingspolicy. Variera utkastlängd och samplingsinställningar medan målmodellen och den begärda fördelningen hålls fasta, och jämför sedan med vanlig autoregressiv avkodning. Detta beroende bör förbli tydligt i det slutliga gränssnittet.
Aktivera spekulering endast där accepterade framsteg per total millisekund förbättras. Om acceptansen verkar hög men fördröjningen inte minskar bör du optimera kostnaderna för förslag och verifiering i stället för att behandla kvoten som det slutliga prestandamåttet. Resultatet måste därför kontrolleras mot det ursprungliga underlaget.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Vad är embeddingdrift, och när behöver ett privat sökindex byggas om?
Avkoda modell-, förbehandlings-, korpus- och frågeförskjutning; skilj övervakning från inkompatibilitet och avgör när ett privat index behöver byggas om.
Vad är tokeniseringskompatibilitet, och varför kan den göra att modellbyte slutar fungera?
Avkoda ordförrådsidentitet, semantik för specialtoken, chattmallar, cachade token, adaptrar och kompatibilitetskontroller för lokal modellväxling.
Vad är modellresidens, och när bör en lokal AI-tjänst ha vikterna inlästa?
Förstå viktpersistens, cachenivåer, kalla starter, utfasning, multiplexering, minnesbelastning och när en AI-tjänst i hemmet bör hållas varm.
