Varför förändrar bildupplösningen belastningen på multimodal AI i hemmet?
Bildens upplösning förändrar belastningen på multimodal AI eftersom större indata vanligtvis skapar fler visuella patcher, beskärningar, token och mer attention-bearbetning innan textgenereringen börjar.
En AI-server i hemmet kan svara snabbt på ett förminskat mobilfoto men bli långsammare med en skärmbild i full upplösning, en inskannad sida, ett panorama eller en begäran med flera bilder. Det ursprungliga pixelantalet skickas inte alltid direkt till språkmodellen; en syn-encoder skalar om, beskär, delar upp och omvandlar bilden till visuella token. Den valda förbehandlingsstrategin avgör hur mycket fina detaljer som bevaras och hur mycket beräkningskraft, minne, kontextutrymme och kötid som begäran kräver.
Vision Transformers omvandlar pixlar till patch-token
En syn-encoder delar vanligtvis upp en bild i patcher med fast storlek, projicerar varje patch till en embedding och bearbetar den resulterande sekvensen med transformer-lager.
Vision Transformer-artikeln behandlar en bild som en patchsekvens i stället för som en odelbar indata.
Med en fast patchstorlek skapar en ökning av både bildens bredd och höjd fler patcher i proportion till bildens area. Om båda dimensionerna fördubblas kan det därför skapas ungefär fyra gånger så många råa patcher innan senare pooling eller komprimering.
Förbehandlingen kan skala bort pixlar eller bevara dem genom uppdelning i paneler
Vissa pipelines skalar om alla bilder till en enda fast encoderupplösning. Antalet token förblir stabilt, men liten text och fina objekt kan försvinna vid nerskalningen.
LLaVA-UHD använder uppdelning i ursprunglig upplösning för att dela stora bilder i sektioner med varierande storlek och organisera de resulterande visuella token.
Uppdelning i paneler bevarar lokala detaljer genom att bearbeta flera beskärningar, men varje extra beskärning upprepar syn-encoderns arbete och bidrar med token eller komprimerade funktioner till språkmodellen.
Två filer med samma megapixelantal kan också ge olika beskärningslayouter eftersom bildförhållandet och körtidsmiljöns regler för val av rutnät avgör hur många paneler som krävs.
Högre upplösning kan mångdubbla antalet visuella token i språkmodellen
Efter synkodningen omvandlar en projektor bildfunktionerna till token som är kompatibla med språkmodellen. Dessa token upptar kontextpositioner tillsammans med användarens text och det genererade svaret.
LLaVA-OneVision rapporterar att dess AnyRes-steg ökar antalet visuella token när den stödda upplösningen ökar.
Fler visuella token ökar arbetet vid förifyllning av prompten, behovet av KV-cache och den del av kontexten som är tillgänglig för bilden i stället för användarens instruktioner eller hämtade dokument.
En bild med hög upplösning kan därför göra språkbehandlingen långsammare även efter att syn-encodern har slutfört sitt eget arbete.
Attention-kostnaden beror på var tokenkomprimeringen sker
Om syn-encodern bearbetar varje patch med fullständig self-attention kan den interna kostnaden öka snabbt när antalet patcher stiger. Om språkmodellen tar emot varje visuell token ökar även den multimodala förifyllningen.
Forskning om acceleration för hög upplösning visar att AnyRes kan skapa tre till fem gånger fler token än bearbetning med lägre upplösning.
Tokenpooling, omsampling, inlärd komprimering och selektiv återbearbetning av beskärningar kan minska sekvensen innan den når språkmodellen. Besparingen i beräkningskraft beror på om komprimeringen sker före eller efter det kostsamma steget.
Upplösningsbelastning minskar kapaciteten för samtidiga AI-jobb i hemmet
En stor bildbegäran kan använda minne i syn-encodern, tillfälliga bildtensorer, språkmodellens KV-cache och acceleratorn medan andra chattar i hemmet väntar.
LLaVA-Mini undersöker komprimering av visuella token eftersom överflödiga bildtoken ökar kostnaden för multimodal inferens.
ZimaSpaces översikt över lokal AI noterar att lokal AI-kapacitet beror på typen av arbetsbelastning, inte enbart på AI-beteckningen.
En server som klarar flera textchattar kan hantera färre samtidiga bildbegäranden, särskilt när varje bild använder ett läge för uppdelning i paneler med hög detaljnivå.
Välj upplösning utifrån de bevis som uppgiften måste bevara
Scenklassificering, identifiering av dubbletter och övergripande fototaggning kan fungera efter kraftig nerskalning. OCR, diagram, UI-skärmbilder, kvitton och granskning av små objekt kräver ofta mer detaljer eller riktade beskärningar.
CARES visar att adaptivt val av upplösning kan undvika att varje bild bearbetas med högsta tillgängliga upplösning.
Testa flera upplösningar med samma bilder och frågor. Registrera svarens noggrannhet, OCR-kompletthet, antalet visuella token, högsta minnesanvändning, tid till första token och påverkan på en annan samtidig chatt.
Den användbara inställningen är den lägsta upplösning eller beskärningsstrategi som bevarar de bevis arbetsflödet behöver. Fler pixlar är värdefulla endast när modellen kan omvandla dem till bättre resultat för uppgiften.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Varför blir smarta hem-prognoser mindre träffsäkra efter förändringar i säsongsrutiner?
Säsongsbaserade rutiner förändrar förhållandet mellan tid, sensorer, närvaro och önskade åtgärder, vilket gör en modell som tränats på äldre vanor inaktuell.
Varför missar en hem-NVR korta händelser när objektspårning är aktiverad?
Spårning behöver tillräckligt många detekteringar för att starta och bekräfta en bana, så ett objekt som bara syns kortvarigt kan försvinna innan NVR-enheten skapar...
Varför ändras AI-fototaggar efter en modelluppgradering?
En modelluppgradering förändrar representationen och rangordningen som används för att tilldela etiketter, så samma foto kan hamna på olika semantiska gränser eller förtroendegränser.
