Qwen3.8-27B met DSpine: hoe draftmodellen inferentie versnellen

Met de DSpine-release van Tencent komt er een draftcheckpoint met vijf lagen voor Qwen3.8-27B bij. Het stelt meerdere tokens tegelijk voor, die vervolgens door het volledige model worden geverifieerd. Dit kan het decoderen versnellen wanneer er genoeg voorgestelde tokens worden geaccepteerd om het werk van het draftmodel te compenseren. Je hebt nog steeds het doelmodel Qwen3.8-27B nodig en een runtime die beide modellen kan uitvoeren.

Het checkpoint van 7 november is gepubliceerd met een op SGLang gerichte configuratie. De modelkaart vergelijkt de acceptatie van drafts met DFlash2 voor verschillende taken en samplingomstandigheden. Die metingen zijn een goed uitgangspunt voor een lokale test. Ze tonen geen uniforme verbetering van de end-to-end-snelheid op alle hardware aan.

Hoe verandert speculatieve decodering het werk per token?

Een normale generatielus produceert telkens één volgend token, waarbij elk token afhankelijk is van de voorgaande reeks. In een speculatieve lus doet een goedkoper draftmodel een voorstel voor een blok, waarna het doelmodel de voorstellen verifieert. In één verificatiestap kunnen meerdere geaccepteerde posities worden verwerkt. Als voorstellen worden afgewezen, legt de verifier vast wat mogelijk is en gaat hij verder volgens de correctieregels van het algoritme.

De nuttige afweging is minder dure passes van het doelmodel in ruil voor extra draftwerk en administratie rond de verificatie. Als de draft vaak de plank misslaat, betaal je de extra kosten zonder per stap veel verder te komen. Een runtime moet ook gecachte toestanden, batching en synchronisatie beheren. Lees het DSpine-onderzoeksproject voor meer informatie over hoe het model kenmerken van voorgaande lagen doorgeeft terwijl het parallel kandidaten genereert.

Wat heeft Tencent precies gepubliceerd?

Op de checkpointkaart staan vijf draftlagen, blokgrootte 16 en een glijdend venster van 8.192 tokens in de draft. Dat glijdende venster bepaalt niet opnieuw de ondersteunde context van het doelmodel. Het beschrijft een onderdeel van de draftconfiguratie. Controleer het exacte doelmodel en de architectuur op de modelkaart van Qwen3.8-27B.

De gerapporteerde configuratie van Tencent gebruikt SGLang 0.5.22, BF16, FlashAttention 3 en een gelijktijdigheid van 8. De modelkaart beschrijft ook dynamische verificatie en ReplaySSM in de evaluatie. Vermeld die details wanneer je de resultaten citeert. Dat een pakket een doelmodel ondersteunt, betekent niet automatisch dat het ook deze draft, statusafhandeling of kernelroute ondersteunt. Controleer de instructies in de repository en behandel niet-ondersteunde platforms als een afzonderlijke evaluatie.

Wat zegt een hogere acceptatielengte?

De acceptatielengte meet hoe ver een verificatiestap de generatie kan voortstuwen met een bepaalde draftstrategie en werklast. Een hogere waarde vergroot doorgaans de potentiële winst, maar de verificatiekosten, blokgrootte van de draft en hardware bepalen de daadwerkelijke latentie. De gepubliceerde configuratie van DSpine en DFlash2 gebruikt verschillende draftblokgroottes. Een vergelijking van alleen de acceptatielengtes houdt daarom geen rekening met de hoeveelheid rekenwerk per poging.

Een verificatiestap kan meerdere tokens accepteren en toch weinig verbetering opleveren als de draft- en verificatiestappen veel kleine kernels starten. Test zowel een kort antwoord als een lang antwoord. De eerste test meet de interactieve overhead, terwijl de tweede meer decodeerstappen heeft waarin speculatief werk voordeel kan opleveren.

Hoe vergelijk je DSpine eerlijk op je machine?

Gebruik voor alle configuraties hetzelfde doelcheckpoint, dezelfde precisie, invoerprompt, contextlimiet, decoderingsinstellingen en runtimebuild. Voer een nulmeting zonder draft uit. Voeg een ondersteunde draftmodus toe en leg de exacte instellingen vast. Documenteer bij een vergelijking van DSpine en DFlash2 de blokgroottes en controleer of beide de bedoelde kernels en versnellingspaden gebruiken.

1. Warm elke modus op met dezelfde korte prompt voordat je de stabiele resultaten vastlegt.
2. Vergelijk eerst één gebruiker tegelijk en herhaal de test vervolgens met de gelijktijdigheid die je host normaal gesproken bedient.
3. Leg de uitvoerlengte, tijd tot het eerste token, generatiesnelheid en het piekgeheugenverbruik vast.
4. Neem codeaanvulling, redeneren over meerdere bestanden en uitvoer van tools binnen opgegeven beperkingen mee. Leg ongeldige aanroepen en time-outs vast.
5. Vergelijk de end-to-end-voltooiingstijden voor taken die de modellen correct afronden.

Raadpleeg de implementatiegids voor Qwen3.8-27B voor vragen over de basishardware. Het artikel over codecoördinatie geeft voorbeelden waarin de kosten van repository- en tooluitvoering zwaarder kunnen wegen dan de snelheidstest van alleen tekstgeneratie.

Wanneer is het extra geheugen van het conceptmodel de moeite waard?

Testen is de moeite waard wanneer decodering een aanzienlijk deel van de totale tijd in beslag neemt, het doelmodel al met voldoende ruimte past en de runtime deze configuratie expliciet ondersteunt. Workloads met voorspelbare voortzettingen, zoals bepaalde codebewerkingen of gestructureerde antwoorden, kunnen langere geaccepteerde blokken opleveren. Test dit met je eigen taken, in plaats van benchmarkresultaten zonder meer op elke taak toe te passen.

Als lange voorvoegsels of toolaanroepen het grootste deel van de tijd kosten, levert een sneller decodeerpad mogelijk weinig tijdwinst op. Als je GPU bijna vol is, kunnen extra gewichten en status van het conceptmodel de ruimte voor gelijktijdige taken beperken. Als je meerdere sessies tegelijk nodig hebt, vergelijk dan de totale doorvoer en de staartlatentie, niet alleen de maximale snelheid van één stream. De geheugengids voor Flash Next bespreekt vergelijkbare afwegingen tussen modelplaatsing en cachebudget voor een ander checkpoint.

Veelgestelde vragen

Kan het DSpine-checkpoint zelfstandig vragen beantwoorden?

Het is een conceptmodelcomponent, ontworpen voor Qwen3.8-27B. Het doelmodel controleert de voorgestelde voortzetting.

Betekent blokgrootte 16 dat er telkens 16 tokens worden geaccepteerd?

Nee. De beschrijving betreft het voorstelblok. De acceptatie varieert afhankelijk van de prompt, de sampling en het gedrag van het conceptmodel.

Werkt deze update automatisch in Ollama?

De DSpine-kaart documenteert een SGLang-evaluatie. Controleer de exacte runtime voordat je ervan uitgaat dat de combinatie van doelmodel en conceptmodel wordt ondersteund.

Kan een model met meer geaccepteerde tokens toch trager zijn?

Ja. Extra berekeningen, synchronisatie, statusbeheer en geheugendruk kunnen de winst tenietdoen.

Vermindert dit het gewichtgeheugen van het doelmodel?

Het doelmodel blijft geladen. Het conceptmodel en de bijbehorende status kunnen extra geheugen vergen.

Conclusie

Gebruik DSpine om te testen of je Qwen3.8-27B-workload baat heeft bij het accepteren van meerdere speculatieve tokens per doelmodelpassage. Meet de acceptatie, het piekgeheugen en de totale taaklatentie samen. Als het conceptmodel de interactieve of batchmetriek verbetert die voor jou van belang is, zonder het geheugen uit te putten, kan de extra complexiteit tijdens runtime gerechtvaardigd zijn.