Warum wächst der Aufmerksamkeits-Speicher über die Parameter von Home-KI-Modellen hinaus?

Der Speicherbedarf der Attention kann über die Modellparameter hinauswachsen, weil die Gewichte unverändert bleiben, während tokenabhängige Caches, Aktivierungen und Arbeitsbereiche mit Kontext und Parallelität wachsen.

Ein quantisiertes Modell passt möglicherweise problemlos in den RAM oder VRAM eines Heimservers. Lange Prompts, mehrere Nutzer im Haushalt, multimodale Eingaben oder große Batches können dennoch zu Speicherdruck führen. Die Modelldatei beschreibt die persistenten Gewichte, nicht den vollständigen Arbeitssatz während der Inferenz. Die Attention erzeugt für jedes gespeicherte Token einen anfrageabhängigen Zustand und benötigt möglicherweise temporäre Puffer, deren Spitzenbedarf von der Laufzeitumgebung abhängt. Die folgenden Abschnitte trennen den festen Parameterspeicher vom sequenzabhängigen Speicher und zeigen, wann Letzterer zur tatsächlichen Kapazitätsgrenze wird.

Modellparameter bilden nach dem Laden eine feste Grundlage

Modellgewichte belegen eine vorhersehbare Speichermenge, sobald ihre Anzahl und ihr numerisches Format bekannt sind. Ein Vier-Bit-Modell benötigt weniger Parameterspeicher als eine Acht-Bit- oder Gleitkommaversion, wobei Laufzeitmetadaten und Skalierungsfaktoren zusätzlichen Overhead verursachen.

Die Transformer-Architektur verwendet für einen kurzen und einen langen Prompt dieselben gelernten Parameter. Der Parameterspeicher verdoppelt sich nicht einfach, nur weil der Nutzer mehr Kontext hinzufügt.

Diese feste Grundlage macht die Größe der Modelldatei für eine erste Prüfung der Speicherpassung nützlich. Sie ist jedoch keine vollständige Schätzung des maximalen Inferenzspeichers.

Vollständige Attention kann sequenzquadratische Zwischenberechnungen erzeugen

Konventionelle Self-Attention vergleicht Tokenpositionen miteinander. Wenn eine Implementierung große Matrizen für Attention-Scores und -Wahrscheinlichkeiten materialisiert, wachsen deren Dimensionen mit dem Quadrat der Sequenzlänge.

FlashAttention bezeichnet quadratischen Attention-Speicherbedarf als zentrales Problem bei langen Sequenzen und vermeidet die Speicherung der vollständigen Matrix, indem die Attention in Kacheln berechnet wird.

Moderne optimierte Inferenz-Kernels können daher deutlich weniger temporären Speicher verwenden, als die naive Formel vermuten lässt. Die zugrunde liegende Attention-Berechnung wird bei längeren Sequenzen dennoch aufwendiger. Die Implementierung entscheidet jedoch darüber, ob die vollständige sequenzquadratische Matrix im Gerätespeicher erscheint.

Der maximale Arbeitsbereich kann sich außerdem je nach Kernelversion, Batch-Form, Head-Dimension und dem verwendeten Fallback auf einen weniger effizienten Attention-Pfad ändern.

Der KV-Cache fügt für jedes gespeicherte Token persistenten Zustand hinzu

Bei der autoregressiven Dekodierung werden Schlüssel und Werte früherer Tokens gespeichert, damit das Modell nicht vor der Erzeugung jedes weiteren Tokens das gesamte Präfix neu berechnen muss.

PagedAttention betrachtet das Wachstum des KV-Caches als zentrale Einschränkung des Speichers beim Bereitstellen von Modellen. Seine Kapazität steigt mit der Anzahl gespeicherter Tokens, den Cache-erzeugenden Schichten, den Key-Value-Dimensionen, der Präzision und der Anzahl aktiver Sequenzen.

Anders als eine temporäre Attention-Matrix muss dieser Zustand während des gesamten aktiven Gesprächs verfügbar bleiben. Ein langer Kontext kann daher weiterhin Speicher belegen, selbst wenn das Modell jeweils nur ein neues Token erzeugt.

Die Erklärung von ZimaSpace zum Thema Speicherreserven für KI trennt den Modellspeicher von der zusätzlichen Kapazität, die durch Kontext und gleichzeitige Nutzer erforderlich wird.

-15% OFF

ZimaBoard 2 – Mini-Heimserver für Ihre große Idee

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Gleichzeitige Anfragen vervielfachen den dynamischen Attention-Zustand

Mehrere Nutzer können sich eine Kopie der Modellgewichte teilen, ihre privaten Prompts, erzeugten Tokens und KV-Cache-Zweige bleiben jedoch normalerweise getrennt.

vAttention verwendet eine dynamische physische Speicherzuweisung, weil Anfrage- und Abschlusslängen beim Start der Bereitstellung nicht bekannt sind.

Ein Server, auf dem ein Gespräch mit 32.000 Tokens Platz findet, kann möglicherweise nicht vier solcher Gespräche gleichzeitig verarbeiten. Batchgröße und Nutzerzahl vervielfachen den tokenabhängigen Zustand, obwohl die Gesamtzahl der Modellparameter unverändert bleibt.

Das Teilen von Präfixen kann Duplikate reduzieren, wenn Anfragen ein identisches gespeichertes Präfix haben. Unterschiedliche Gespräche im Haushalt benötigen jedoch weiterhin jeweils einen unabhängigen Fortsetzungszustand.

Aktivierungen und Laufzeitreservierungen erhöhen den Spitzenbedarf weiter

Prompt-Prefill, multimodale Projektionen, spekulative Dekodierung, Graph-Capturing, temporäre Tensor-Konvertierung und Bibliotheksarbeitsbereiche können zusätzlich zu Gewichten und KV-Cache Speicher reservieren.

FlashAttention-2 weist darauf hin, dass Attention auch dann ein Engpass bei langen Sequenzen bleibt, wenn bessere Kernels große materialisierte Zwischenmatrizen entfernen.

Frameworks mit cachingfähigen Allocatoren behalten möglicherweise freigegebene Blöcke zur Wiederverwendung. Daher können Gerätetools auch nach Abschluss einer einzelnen Anfrage mit Spitzenbedarf einen großen Prozessspeicher anzeigen. Diese Reservierung unterscheidet sich vom Speicher live verwendeter Tensoren, begrenzt aber dennoch einen weiteren Prozess.

Der höchste beobachtete Speicherbedarf kann daher während des Prefills oder beim Modellwechsel auftreten und nicht während der gleichmäßigen Dekodierung mit jeweils einem Token.

Attention-Optimierungen verschieben die Grenze, beseitigen sie aber nicht

Flash Attention reduziert temporäre IO- und Matrixspeicherung, paginierte Zuweisung verringert die Fragmentierung des KV-Caches, eine niedrigere Cache-Präzision reduziert die Bytes pro Token und Grouped-Query-Attention verwendet weniger Key-Value-Heads.

Grouped-Query-Attention reduziert den Speicherbedarf der Key-Value-Heads und bewahrt dabei mehr Kapazität als ein einzelner Multi-Query-Head.

Gleitende Fenster, Cache-Eviction, Offloading und Retrieval können den Attention-Zustand begrenzen oder verlagern. Jede dieser Methoden verändert jedoch die Latenz, den verfügbaren Kontext oder das Antwortverhalten.

Testen Sie die gesamte vorgesehene Arbeitslast: Modellpräzision, tatsächliche Prompt-Länge, Ausgabelimit, Batchgröße, Nutzerzahl, Vision-Tokens und andere lokale Dienste. Der Attention-Speicher ist über die Parameter hinausgewachsen, wenn eine Verringerung des Token-Zustands oder der Parallelität die Stabilität wiederherstellt, ohne die Modellgewichte zu ändern.

FAQ

Übersteigt der Attention-Speicher immer den Speicher der Modellgewichte?

Nein. Kurze Prompts mit nur einem Nutzer machen die Gewichte häufig zum dominierenden Bestandteil. Der Attention-Zustand wird erst dann dominant, wenn Kontext, Batching oder Parallelität eine modell- und laufzeitspezifische Schwelle überschreiten.

Beseitigt FlashAttention den Speicherbedarf des KV-Caches?

Nein. FlashAttention reduziert die Berechnung der Attention und den temporären Speicherverkehr. Für die autoregressive Bereitstellung müssen gespeicherte Schlüssel- und Werte-Zustände weiterhin vorgehalten werden, sofern die Laufzeitumgebung sie nicht neu berechnet, entfernt oder auslagert.

Kann System-RAM einen Engpass beim Attention-Speicher lösen?

Er kann CPU-Inferenz oder Offloading in kompatiblen Laufzeitumgebungen unterstützen. Das Verschieben aktiver Zustände über eine langsamere Verbindung kann jedoch die Latenz erhöhen und die Ausgabegeschwindigkeit verringern.