Laatste blog

Embeddingtaken verbruiken acceleratorcapaciteit, CPU, geheugen en opslag in lange batches, waardoor chat-prefill, decodering, retrieval en de respons op het eerste token worden vertraagd.

Runtimes reserveren herbruikbare GPU-blokken na aanvragen om trage toekomstige toewijzingen te voorkomen. Daardoor kan het procesgeheugen hoog blijven zonder dat er sprake is van een actief tensorlek.

Batchverwerking verhoogt het totale gebruik van de accelerator door verzoeken te combineren, maar wachttijden en gemengde workloads kunnen de latentie tot het eerste token en per gebruiker verhogen.

Door modelartefacten te scheiden van veranderlijke runtimegegevens worden upgrades, terugdraaien, rechtenbeheer, back-ups, opschoning en herstel na storingen voorspelbaarder.

Een model kan mislukken ondanks voldoende totale vrije VRAM wanneer de allocator de vereiste blokindeling voor gewichten, de KV-cache en werkruimten niet kan samenstellen.

Caching van modellen verkort verschillende delen van het aanvraagtraject, waardoor warme antwoorden snel kunnen zijn, zelfs wanneer het laden van een model of een nieuwe prompt nog steeds traag is.

Meerdere AI-services kunnen overlappende geheugenbudgetten reserveren, waardoor kleinere batches, preëmptie, het verwijderen van modellen, offloading naar de CPU of out-of-memory-fouten noodzakelijk worden.

Een cold start hangt af van hoe modelgewichten worden opgeslagen en gelezen, niet alleen van de SSD-snelheid: de indeling bepaalt het metadatawerk, de leesparalleliteit, het aantal kopieën en het hergebruik van de cache.