Warum verändert die Bildauflösung die Auslastung multimodaler Home-KI?

Die Bildauflösung verändert die Auslastung multimodaler KI, da größere Eingaben in der Regel mehr visuelle Patches, Ausschnitte, Token und Aufmerksamkeitsberechnungen erzeugen, bevor die Textgenerierung beginnt.

Ein KI-Server für zu Hause kann ein verkleinertes Handyfoto schnell beantworten, bei einem Screenshot in voller Auflösung, einer gescannten Seite, einem Panorama oder einer Anfrage mit mehreren Bildern jedoch langsamer werden. Die ursprüngliche Pixelanzahl wird nicht immer direkt an das Sprachmodell übergeben. Stattdessen skaliert, beschneidet und kachelt ein Bildencoder das Bild und wandelt es in visuelle Token um. Die gewählte Vorverarbeitungsstrategie bestimmt, wie viele feine Details erhalten bleiben und wie viel Rechenleistung, Speicher, Kontextplatz und Wartezeit die Anfrage beansprucht.

Vision Transformer wandeln Pixel in Patch-Token um

Ein Bildencoder teilt ein Bild üblicherweise in Patches fester Größe auf, projiziert jeden Patch in ein Embedding und verarbeitet die daraus entstehende Sequenz mit Transformer-Schichten.

Das Vision-Transformer-Paper behandelt ein Bild als Patch-Sequenz und nicht als unteilbare Eingabe.

Bei einer festen Patch-Größe erzeugt eine Vergrößerung von Bildbreite und -höhe proportional zur Bildfläche mehr Patches. Werden beide Dimensionen verdoppelt, kann dies vor einem späteren Pooling oder einer Komprimierung ungefähr viermal so viele Roh-Patches ergeben.

Die Vorverarbeitung kann Pixel wegskalieren oder sie durch Kachelung erhalten

Manche Pipelines skalieren jedes Bild auf eine feste Encoder-Auflösung. Die Anzahl der Token bleibt dabei konstant, doch kleine Texte und feine Objekte können durch die Verkleinerung verloren gehen.

LLaVA-UHD verwendet Aufteilung in nativer Auflösung, um große Bilder in Bereiche variabler Größe zu unterteilen und die daraus entstehenden visuellen Token zu organisieren.

Kachelung bewahrt lokale Details, indem mehrere Ausschnitte verarbeitet werden. Jeder zusätzliche Ausschnitt wiederholt jedoch die Arbeit des Bildencoders und fügt dem Sprachmodell Token oder komprimierte Merkmale hinzu.

Auch zwei Dateien mit derselben Megapixelzahl können unterschiedliche Kachelanordnungen erzeugen, da das Seitenverhältnis und die Regeln zur Git­terauswahl der Laufzeit bestimmen, wie viele Kacheln erforderlich sind.

Eine höhere Auflösung kann die Anzahl visueller Token im Sprachmodell vervielfachen

Nach der Bildkodierung wandelt ein Projektor die Bildmerkmale in Token um, die mit dem Sprachmodell kompatibel sind. Diese Token belegen neben dem Text des Benutzers und der generierten Antwort Kontextpositionen.

LLaVA-OneVision berichtet, dass seine AnyRes-Stufen die Anzahl visueller Token erhöhen, wenn die unterstützte Auflösung wächst.

Mehr visuelle Token steigern den Rechenaufwand für das Prompt-Prefill, den Bedarf an KV-Cache und den Anteil des Kontexts, der dem Bild statt den Anweisungen des Benutzers oder abgerufenen Dokumenten zur Verfügung steht.

Ein Bild mit hoher Auflösung kann daher die Sprachverarbeitung verlangsamen, selbst nachdem der Bildencoder seine eigene Arbeit abgeschlossen hat.

-15% OFF

ZimaBoard 2 – Mini-Heimserver für Ihre große Idee

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Die Kosten der Aufmerksamkeitsberechnung hängen davon ab, wo die Token-Komprimierung erfolgt

Verarbeitet der Bildencoder jeden Patch mit vollständiger Self-Attention, können seine internen Kosten mit steigender Patch-Anzahl stark wachsen. Erhält das Sprachmodell jeden visuellen Token, nimmt auch der multimodale Prefill zu.

Forschung zur Beschleunigung hochauflösender Verarbeitung stellt fest, dass AnyRes drei- bis fünfmal mehr Token erzeugen kann als die Verarbeitung mit niedrigerer Auflösung.

Token-Pooling, Resampling, gelernte Komprimierung und die selektive erneute Verarbeitung von Ausschnitten können die Sequenz verkürzen, bevor sie das Sprachmodell erreicht. Die Einsparung bei der Rechenleistung hängt davon ab, ob die Komprimierung vor oder nach der kostenintensiven Stufe erfolgt.

Der Auflösungsdruck verringert die Kapazität für parallele KI-Aufgaben zu Hause

Eine große Bildanfrage kann den Speicher des Bildencoders, temporäre Bildtensoren, den KV-Cache des Sprachmodells und Beschleunigerzeit belegen, während andere Chats im Haushalt warten.

LLaVA-Mini untersucht die Komprimierung visueller Token, da redundante Bild-Token die Kosten der multimodalen Inferenz erhöhen.

Die lokale KI-Übersicht von ZimaSpace weist darauf hin, dass die Kapazität lokaler KI von der Art der Arbeitslast und nicht allein von der KI-Bezeichnung abhängt.

Ein Server, der mehrere Textchats unterstützt, kann daher möglicherweise weniger Bildanfragen gleichzeitig verarbeiten, insbesondere wenn jedes Bild in einem Kachelmodus mit vielen Details verwendet wird.

Wähle die Auflösung anhand der Informationen, die für die Aufgabe erhalten bleiben müssen

Szenenklassifizierung, Duplikaterkennung und die grobe Verschlagwortung von Fotos funktionieren möglicherweise nach einer starken Verkleinerung. OCR, Diagramme, Benutzeroberflächen-Screenshots, Quittungen und die Untersuchung kleiner Objekte erfordern oft mehr Details oder gezielte Ausschnitte.

CARES zeigt, dass eine adaptive Auswahl der Auflösung vermeiden kann, jedes Bild mit der höchstmöglichen Auflösung zu verarbeiten.

Teste mehrere Auflösungen mit denselben Bildern und Fragen. Erfasse die Antwortgenauigkeit, die Vollständigkeit der OCR, die Anzahl visueller Token, den maximalen Speicherbedarf, die Zeit bis zum ersten Token und die Auswirkungen auf einen weiteren gleichzeitig laufenden Chat.

Die geeignete Einstellung ist die niedrigste Auflösung oder Ausschneidestrategie, die die für den Arbeitsablauf erforderlichen Informationen bewahrt. Mehr Pixel sind nur dann wertvoll, wenn das Modell sie in bessere Ergebnisse für die jeweilige Aufgabe umwandeln kann.