Senaste bloggen

Ett glidfönster begränsar det aktiva KV-minnet genom att endast behålla ett nyligt tokenintervall, vilket innebär att full historikuppmärksamhet byts mot förutsägbar inferenskapacitet.

Förifyllning använder parallellt matrisarbete över många indatatoken, medan avkodning går framåt med en accepterad token i taget och upprepade gånger läser modellens tillstånd.

Spekulativ avkodning minskar antalet seriella steg i målmodellen genom att utforma flera framtida token samtidigt och verifiera dem tillsammans utan att ändra de exakta avkodningsresultaten.

Kvantisering innebär numerisk approximation; kvaliteten beror på bitbredd, metod, kalibreringsdata, modellens storlek och det arbetsflöde som testas.

KV-cachen växer när en modell behåller uppmärksamhetsnycklar och -värden för fler prompt- och utdatatoken i varje transformerlager och aktiv begäran.

Acceleratorschemaläggning avgör vilken användare som får tillgång till modellen, delar varje iteration, behåller cachestatus eller väntar på längre arbete med högre prioritet.

Inbäddningsjobb använder accelerator, CPU, minne och lagring under långa batchkörningar, vilket fördröjer chattens förifyllnad, avkodning, hämtning och svar på första token.

Körmiljöer reserverar återanvändbara GPU-block efter begäranden för att undvika långsamma framtida allokeringar, så processminnet kan förbli högt utan en aktiv tensorläcka.