Hoe verandert Mixture-of-Experts-routing de lokale modelberekening?

Mixture-of-Experts-routing verandert de lokale modelberekening door elke token slechts door een kleine subset van expert-feedforwardnetwerken te sturen, in plaats van elke expert te activeren.

Daardoor ziet een groot MoE-model er ongebruikelijk uit op een thuisserver: het totale checkpoint kan enorm zijn, terwijl de expertberekening voor één token vergelijkbaar kan zijn met die van een veel kleiner actief model. Het voordeel is schaarse rekenkundige verwerking, geen gratis geheugen. De gewichten van experts moeten nog steeds worden opgeslagen, en routering over meerdere apparaten kan een deel van de bespaarde rekenkracht omzetten in communicatie.

Een dichte Transformer activeert voor elke token dezelfde feedforwardparameters

In een gewone dichte Transformerlaag gaat elke token door hetzelfde feedforwardnetwerk. Een groter aantal feedforwardparameters verhoogt daarom zowel de modelgrootte als de hoeveelheid rekenwerk die voor elke token nodig is.

Switch Transformer contrasteert dit met schaars geactiveerde Mixture-of-Experts-lagen, waarbij verschillende tokens verschillende subsets van parameters kunnen selecteren.

Voor lokale inferentie ontstaat hiermee het eerste onderscheid bij MoE: het totale aantal parameters bepaalt hoeveel modelstatus moet worden opgeslagen, terwijl het aantal geactiveerde parameters grotendeels bepaalt hoeveel expertberekeningen per token nodig zijn.

Een router beoordeelt elke token tegenover de beschikbare experts

In een MoE-laag bekijkt een kleine router de representatie van de token en produceert deze scores of waarschijnlijkheden voor kandidaat-experts. Tijdens runtime wordt vervolgens een beperkt aantal experts gekozen, meestal top-1 of top-k, afhankelijk van de architectuur.

Megatron Core van NVIDIA biedt een router die bepaalt naar welke experts elke token wordt gestuurd. De routeringsbeslissing bepaalt welke expertmatrices die token verwerken.

Twee tokens in dezelfde prompt kunnen daardoor verschillende expertgewichten activeren, ook al delen ze de aandacht en andere dichte onderdelen van het model.

Schaarse activatie vermindert de expertberekening, maar niet de opslag van alle gewichten

Als een laag acht experts bevat maar elke token naar twee experts routeert, worden voor die token alleen de berekeningen van de geselecteerde experts uitgevoerd. De overige expertmatrices blijven tijdens die stap inactief.

Onderzoek naar Expert Choice beschrijft MoE als een methode die het aantal parameters verhoogt en tegelijkertijd de berekening per token relatief begrensd houdt. Daarom kan een MoE-checkpoint een zeer groot totaal aantal parameters vermelden, maar een veel kleiner aantal actieve parameters.

Een thuisserver moet de volledige set expertgewichten echter nog steeds ergens beschikbaar hebben, tenzij de runtime deze streamt of naar een ander opslagmedium verplaatst. Schaarse berekening is niet hetzelfde als schaarse opslag.

Featured

ZimaCube 2 Persoonlijke Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

De plaatsing van experts kan routering veranderen in communicatie tussen apparaten

Op één GPU verandert het selecteren van een expert vooral welke lokale gewichtsblokken worden gelezen. Over meerdere GPU's kunnen experts zo worden verdeeld dat een tokenrepresentatie naar het apparaat moet worden gestuurd dat de geselecteerde expert bevat, waarna deze terug moet keren naar de hoofdstroom van de laag.

Het MoE-inferentieontwerp van DeepSpeed wijst groepen experts toe met behulp van expertparallelisme over GPU's. Routering omvat dan naast matrixvermenigvuldiging ook communicatie.

Een kleine multi-GPU-thuisserver kan daardoor worden beperkt door de onderlinge verbinding, zelfs wanneer de rekenlast per token schaars is. De PCIe-topologie en ondersteuning voor peer-to-peercommunicatie zijn belangrijker dan alleen het aantal actieve parameters doet vermoeden.

Onevenwichtige routering leidt tot overbelaste experts en ongebruikte capaciteit

In echte prompts worden tokens niet noodzakelijk gelijkmatig verdeeld. Als veel tokens dezelfde expert kiezen, wordt dat apparaat of die kernel een knelpunt terwijl andere experts wachten.

MoETuner noemt onevenwichtige tokenroutering en expertactivatie praktische knelpunten bij het aanbieden van modellen, omdat sommige apparaten meer gerouteerd werk en communicatie kunnen opstapelen dan andere.

Bij lokale inferentie kan ongelijke routering leiden tot variabele tokenlatentie tussen prompts, zelfs wanneer de contextlengte en modelgrootte vergelijkbaar zijn. Het model kiest dynamisch een ander rekenpad.

Plan de lokale MoE-capaciteit afzonderlijk op basis van totale gewichten en het actieve pad

Een nuttige hardware-inschatting houdt rekening met de totale omvang van de modelgewichten, het aantal actieve experts per token, de kosten van dichte lagen, de KV-cache, kwantisering en de vraag of experts zich op één accelerator, meerdere GPU's, CPU-RAM of opslag bevinden.

De bespreking van lokaal AI-geheugen en de planning van accelerators door ZimaSpace biedt de bredere capaciteitscontext voor thuisservers. MoE voegt daar een extra onderscheid aan toe tussen resident geheugen en actieve berekening.

Gebruik benchmarkprompts uit verschillende taken, omdat routeringspatronen kunnen variëren. Meet tokens per seconde, gebruik per apparaat, de belasting van experts, communicatieverkeer en geheugengebruik in plaats van aan te nemen dat het geadverteerde aantal actieve parameters het hele systeem voorspelt.

Voor bijzonder grote lokale checkpoints is de analyse van ZimaSpace over de implementatie van grote modellen de aangrenzende capaciteitsvraag. Routering verandert de actieve berekening, maar de opslag van alle gewichten en de plaatsing over apparaten bepalen nog steeds of het model praktisch bruikbaar is.