Varför kan fragmentering av GPU-minnet blockera en lokal AI-modell?

Fragmentering av GPU-minnet kan hindra en lokal AI-modell när ledig kapacitet är uppdelad i regioner som inte kan uppfylla körmiljöns nästa allokeringsmönster.

Felet uppstår ofta efter modellbyten, ändringar av kontextlängder, samtidig körning av bild- och språkbelastningar eller hantering av förfrågningar där tillfälliga tensorer växer och krymper. Övervakningen kan visa oanvänt VRAM, men allokeraren kan ändå inte placera en stor arbetsyta, modellshard eller utökning av KV-cachen utan att frigöra eller omorganisera befintliga block. Avsnitten nedan skiljer verklig kapacitetsbrist från fragmentering i allokeraren och förklarar varför en omstart av körmiljön tillfälligt kan göra att samma modell får plats igen.

Totalt ledigt VRAM är inte samma sak som användbart allokeringsutrymme

En minnesövervakare rapporterar den sammanlagda kapaciteten, men en allokerare måste uppfylla förfrågningar genom de block och virtuella mappningar som den hanterar. Flera små lediga regioner kan tillsammans vara större än den begärda storleken och ändå vara oanvändbara enligt en regel som kräver sammanhängande allokering.

En analys av LLM-drift beskriver denna avvikelse i ledigt minne när KV-cachar och tensorer med varierande storlek lämnar hål som är mindre än nästa förfrågan. Det synliga OOM-felet handlar därför både om layout och om det totala antalet byte.

Drivrutiner och ramverk kan dessutom rapportera enhetsledigt, reserverat, allokerat och inaktivt minne på olika sätt. Jämför körmiljöns vy av allokeringen med användningen på enhetsnivå i stället för att lita på ett enda huvudvärde.

Förändrade tensorstorlekar skapar hål över tid

AI-belastningar allokerar och frigör upprepade gånger tensorer av olika storlek för promptar, batchar, bilddimensioner, attention-arbetsytor och tillfälliga konverteringar. En cache-allokerare behåller block för återanvändning eftersom det är kostsamt att upprepade gånger lämna tillbaka dem till drivrutinen.

GMLake-forskningen visar att oregelbundna allokeringar kan försämra minnespooler som bygger på uppdelning och skapa betydande fragmentering i stora modeller. Återanvändning av exakt samma storlekar är effektiv; upprepade uppdelningar och sammanslagningar av storlekar som inte passar ihop är svårare.

En hemserver där modeller byts ofta är särskilt utsatt, eftersom körmiljöer för språk, diffusion, vision och tal begär mycket olika blockformer från samma GPU.

Fragmentering kan byggas upp utan en minnesläcka. Alla allokeringar kan så småningom frigöras till poolen, men poolens form kan fortfarande vara dåligt anpassad till nästa arbetsbelastning.

En växande KV-cache gör fragmenteringen under inferens dynamisk

LLM-vikter är relativt stabila efter inläsningen, medan KV-cachen växer med aktiva användare, promptlängd och genererade token. Förfrågningar avslutas också vid olika tidpunkter, vilket frigör ojämnt fördelade regioner.

PagedAttention utvecklades för att minska fragmentering av KV-cache genom att lagra förfrågningstillstånd i mindre block i stället för att reservera en stor sammanhängande region för en okänd slutlig sekvenslängd.

Detta problem skiljer sig från fragmentering i ramverkets allmänna tensorallokerare, men båda kan förekomma samtidigt. En paginerad KV-hanterare kan inte automatiskt komprimera modellens arbetsytor eller allokeringar som ägs av en annan process.

ZimaSpaces diskussion om samtidiga kontexter visar varför en modell som får plats för en användare kan överskrida en minnesgräns när flera konversationer växer samtidigt.

-15% OFF

ZimaBoard 2 - Minihemmserver för din stora idé

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Reserverat minne kan få felet att se ut som en läcka

Ramverkens allokerare behåller ofta frigjorda block för att påskynda senare förfrågningar. Verktyg på enhetsnivå räknar dessa block som använda av processen även när den aktuella modellen inte har aktiva tensorer i alla block.

En praktisk OOM-guide skiljer reserverat minne från kraven för den aktiva modellen och cachen. Ett stort gap kan tyda på återanvändbara allokeringsblock, fragmentering eller en arbetsbelastning vars topp var högre än det aktuella tillståndet.

Att rensa en cache kan lämna tillbaka vissa block till drivrutinen, men det kan inte frigöra aktiva vikter, aktivt KV-tillstånd, en annan process kontext eller en arbetsyta som krävs av nästa operation.

Stabila allokeringsformer och paging minskar återkommande fel

Återskapa felet med en modell, en fast kontextgräns, en fast batchstorlek och utan konkurrerande AI-tjänster. Logga allokerat och reserverat minne på processnivå, ledigt minne på enhetsnivå, den största förfrågningen och den sekvens av arbetsbelastningar som föregick OOM-felet.

vAttention använder mappning av virtuellt minne för att separera ett sammanhängande virtuellt KV-utrymme från fysisk allokering. Liknande paging- och segmenterade allokeringsmetoder minskar beroendet av en enda fysiskt sammanhängande region.

För en hemserver omfattar praktiska åtgärder att lämna marginal i VRAM, begränsa modellbyten, använda stabila gränser för kontext och batchar, samordna tjänster genom en enda körmiljö och starta om en fragmenterad process under underhåll i stället för efter att en användarförfrågan har misslyckats.

Om en ren omstart inte gör att modellen får plats är det primära problemet sannolikt verklig kapacitetsbrist snarare än ackumulerad fragmentering. Minska modellstorleken, kvantiseringsminnet, kontexten, batchstorleken eller konkurrerande allokeringar.