Wie beeinflusst die Kontextlänge den Durchsatz lokaler LLMs?
Ein längerer Kontext verringert in der Regel den Durchsatz lokaler LLMs, da dadurch der Prefill-Berechnungsaufwand, der Speicherbedarf des KV-Caches, die Decodierungsarbeit und die Konkurrenz um die Kapazität für gleichzeitig ausgeführte Sequenzen steigen.
Der Effekt folgt keiner universellen Kurve für Tokens pro Sekunde. Die Prompt-Länge erweitert hauptsächlich die Prefill-Phase, während der wachsende aktive Kontext dazu führt, dass spätere Decodierungsschritte auf mehr zwischengespeicherte Schlüssel und Werte zugreifen. Wenn der Speicher voll ist, kann der Server weniger Anfragen zulassen, Sequenzen vorübergehend unterbrechen, den Cache auslagern oder die Verarbeitung ablehnen. Daher hängt der Durchsatz vom Modell, dem Attention-Kernel, der Hardware, dem Scheduler und der Zusammensetzung der Arbeitslast ab.
Die Prompt-Länge erweitert die Prefill-Arbeit vor dem ersten Token
Während des Prefills verarbeitet das Modell alle Prompt-Tokens, um Hidden States und den initialen Key-Value-Cache zu erstellen. Der Rechenaufwand der Standard-Attention steigt stark mit der Sequenzlänge, obwohl optimierte Kernel den Speicherverkehr und konstante Faktoren reduzieren, ohne die Eingabe kostenlos zu machen.
Das Paper zur IO-bewussten Attention stellt einen exakten IO-bewussten Attention-Algorithmus vor, der Transfers zwischen GPU-Speicherebenen reduziert. Seine Beschleunigungen zeigen, warum die Wahl des Kernels die Kurve verändert, während der zugrunde liegende Kontext weiterhin Berechnungen und Speicherbewegungen erfordert.
Ein Server, der nur die Decodierungsrate in Tokens pro Sekunde meldet, kann diesen Aufwand verbergen. Für RAG und lange Unterhaltungen sind die Zeit bis zum ersten Token und die Anzahl der pro Sekunde verarbeiteten Prompt-Tokens zusätzlich zum Ausgabedurchsatz erforderlich. Dieser Unterschied bleibt auch bei späteren Tests im Haushalt sichtbar.
Der KV-Cache wächst mit jedem Token im aktiven Kontext
Bei der autoregressiven Decodierung speichert das Modell Schlüssel und Werte vorheriger Tokens, damit diese nicht erneut berechnet werden müssen. Der Speicherbedarf des Caches skaliert mit der Länge der aktiven Sequenz, der Anzahl der Layer, den Dimensionen, der Präzision und der Anzahl gleichzeitig ausgeführter Sequenzen. Längere Kontexte verringern daher die Anzahl der Anfragen, die gleichzeitig Platz finden.
vLLMs PagedAttention stellt PagedAttention vor, um die Fragmentierung des KV-Caches zu reduzieren und eine flexible gemeinsame Nutzung zu ermöglichen. Eine bessere Speicherzuweisung erhöht die nutzbare Kapazität, entfernt jedoch nicht die für den beibehaltenen Kontext erforderlichen Bytes. Das Zwischenergebnis muss überprüfbar bleiben, bevor die Automatisierung fortgesetzt wird.
Wenn die Kapazität erschöpft ist, können Systeme neue Anfragen in die Warteschlange stellen, den Cache entfernen oder neu berechnen, ihn in den Hauptspeicher auslagern oder die Batch-Größe verringern. Diese Richtlinien können einen gleichmäßigen Einzelbenutzer-Benchmark in einen instabilen Goodput bei mehreren Benutzern verwandeln. Diese Grenze sollte unter realistischen Betriebsbedingungen separat gemessen werden.
Decodierungsschritte lesen mehr Verlauf, wenn der Kontext wächst
Jedes generierte Token greift auf den angesammelten Cache zu, sodass Speicherzugriffe und Attention-Aufwand mit der Sequenzlänge steigen. Das Modell kann weiterhin durch die Speicherbandbreite begrenzt sein, und Kontextkomprimierung oder Cache-Quantisierung tauschen Speichereinsparungen gegen Genauigkeit und Kernel-Unterstützung ein.
Die Arbeit zur KV-Cache-Quantisierung quantisiert den KV-Cache, um deutlich längere Kontexte zu ermöglichen, und identifiziert die Cache-Kapazität ausdrücklich als Engpass bei langen Kontexten. Dies zeigt, dass die beworbene maximale Kontextlänge und ein effizienter, anhaltender Durchsatz unterschiedliche Eigenschaften sind. Die praktische Folge wird sichtbar, wenn mehrere Quellen um einen begrenzten Kontext konkurrieren.
Die Fehlergrenze besteht darin, zwei Kontexte zu vergleichen und dabei Prompt-Zusammensetzung, Ausgabelänge, Parallelität oder Cache-Präzision zu verändern. Die Retrieval-Qualität kann sich durch zusätzliche Belege verbessern, während der Systemdurchsatz sinkt. Daher müssen Leistung und Nutzen der Antworten auf getrennten Achsen bewertet werden.
Durchsatz über Buckets verschiedener Prompt-Längen benchmarken
Erstelle feste Prompt-Buckets, etwa mit 512, 2.048, 8.192 und 16.384 Tokens, und kontrolliere die Ausgabelängen. Führe jeden Test mit einem Benutzer und anschließend mit steigender Parallelität aus. Erfasse dabei Prompt-Tokens pro Sekunde, Ausgabe-Tokens pro Sekunde, Zeit bis zum ersten Token, Latenz zwischen Tokens, Cache-Nutzung, Wartezeit in der Warteschlange, Unterbrechungen und Fehler.
Vergleiche die Kurve mit der in Verlangsamung des Kontextfensters beschriebenen Verlangsamung bei langen Unterhaltungen. Halte Modell, Quantisierung, Sampling, Scheduler und Hardware konstant und wiederhole den Test anschließend mit Prefix-Caching oder Cache-Quantisierung ausschließlich als separate Experimente. Diese Abhängigkeit sollte in der finalen Oberfläche ausdrücklich erhalten bleiben.
Lege das operative Kontextbudget anhand des Goodputs beim erforderlichen Latenzziel fest, nicht anhand der maximal akzeptierten Länge des Modells. Führe Retrieval oder Zusammenfassungen nur dann durch, wenn der daraus entstehende Qualitätsgewinn die gemessenen Kosten für Prefill und Cache rechtfertigt.
Empfohlene Produkte
Tech- & KI-Zentrum
Mehr zum Lesen
Kann ein lokales LLM die Generierung nach einem Neustart seines Prozesses fortsetzen?
Eine mechanismusorientierte Erklärung zum Fortsetzen der LLM-Generierung, zu den Zielkonflikten gemeinsamer Ressourcen, drei FAQs zur Abfrageverteilung und einem praktischen Verifizierungsprotokoll.
Kann ein Heimserver Embeddings und Videotranskodierung auf derselben integrierten GPU ausführen?
Eine mechanismusbasierte Erklärung gemeinsam genutzter iGPU-Einbettungen und der Transkodierung, ihrer Nachteile durch gemeinsam genutzte Ressourcen, drei FAQs zur Abfrageverteilung und eine praktische Überprüfung.
Wie wirkt sich die Lebensdauer von Zugriffstoken auf die Sicherheit und den Aufwand im Haushalt aus?
Eine mechanismusorientierte Erklärung der Lebensdauer von Zugriffstoken, der Zielkonflikte bei gemeinsam genutzten Ressourcen, drei FAQs zur Abfrageverteilung und eines praktischen Verifizierungsprotokolls.
