Laatste blog

MMR rangschikt een kandidatenpool opnieuw door relevantie te belonen en tegelijkertijd gelijkenis met al geselecteerde passages te bestraffen, waardoor er meer ruimte overblijft voor onafhankelijk bewijs.

Pipelineparallellisme plaatst verschillende laaggroepen op verschillende accelerators en verplaatst activaties er in de juiste volgorde doorheen, waardoor het modelgeheugen per apparaat wordt verminderd.

Tensorparallelisme splitst laagtensors over meerdere GPU’s, zodat elk apparaat een fragment berekent en collectieve communicatie het logische resultaat reconstrueert.

CPU-offloading houdt te grote modellen uitvoerbaar door een deel van hun gewichten in het systeem-RAM op te slaan en de benodigde tensors tijdens de uitvoering naar de accelerator te verplaatsen.

MoE-routing activeert geselecteerde experts per token, waardoor de berekening in expertlagen afneemt ten opzichte van het totale aantal parameters, terwijl de volledige set experts opgeslagen blijft.

Flash Attention houdt getegelde attention-berekeningen op de chip en voorkomt dat de volledige scorematrix wordt aangemaakt, waardoor het HBM-verkeer afneemt zonder attention te benaderen.

PagedAttention koppelt de logische KV-geschiedenis van elk verzoek aan geheugenblokken met een vaste grootte en wijst capaciteit toe en hergebruikt deze naarmate gelijktijdige sequenties veranderen.

Prefixcaching hergebruikt de aandachtsstatus voor een gedeeld promptvoorvoegsel, zodat latere aanvragen alleen het niet-gecachete achtervoegsel berekenen voordat de normale decodering doorgaat.