Waarom verandert de beeldresolutie de belasting van multimodale thuis-AI?

De beeldresolutie verandert de belasting van multimodale AI, omdat grotere invoer doorgaans meer visuele patches, uitsneden, tokens en aandachtverwerking vereist voordat tekst wordt gegenereerd.

Een AI-server voor thuis kan snel antwoorden op een verkleinde telefoonfoto, maar vertragen bij een screenshot op volledige resolutie, een gescande pagina, een panorama of een verzoek met meerdere afbeeldingen. Het oorspronkelijke aantal pixels wordt niet altijd rechtstreeks aan het taalmodel doorgegeven; een vision-encoder schaalt de afbeelding, snijdt haar bij, verdeelt haar in tegels en zet haar om in visuele tokens. De gekozen voorbewerkingsstrategie bepaalt hoeveel fijne details behouden blijven en hoeveel rekenkracht, geheugen, context­ruimte en wachttijd het verzoek verbruikt.

Vision Transformers zetten pixels om in patchtokens

Een vision-encoder verdeelt een afbeelding doorgaans in patches van vaste grootte, zet elke patch om in een embedding en verwerkt de resulterende reeks met transformerlagen.

Het Vision Transformer-onderzoek behandelt een afbeelding als een reeks patches in plaats van als één ondeelbare invoer.

Bij een vaste patchgrootte levert een vergroting van zowel de afbeeldingsbreedte als -hoogte meer patches op, evenredig met het beeldoppervlak. Als beide afmetingen verdubbelen, kunnen er vóór latere pooling of compressie ongeveer vier keer zoveel ruwe patches ontstaan.

Voorbewerking kan pixels wegschalen of ze via tegels behouden

Sommige pipelines schalen elke afbeelding naar één vaste encoderresolutie. Het aantal tokens blijft dan stabiel, maar kleine tekst en fijne objecten kunnen tijdens het verkleinen verdwijnen.

LLaVA-UHD gebruikt slicing op native resolutie om grote afbeeldingen in secties van variabele grootte te verdelen en de resulterende visuele tokens te ordenen.

Tegels behouden lokale details door meerdere uitsneden te verwerken, maar elke extra uitsnede herhaalt het werk van de vision-encoder en voegt tokens of gecomprimeerde kenmerken toe aan het taalmodel.

Twee bestanden met hetzelfde aantal megapixels kunnen ook verschillende uitsneden opleveren, omdat de beeldverhouding en de regels van de runtime voor het selecteren van een raster bepalen hoeveel tegels nodig zijn.

Een hogere resolutie kan het aantal visuele tokens in het taalmodel vermenigvuldigen

Na de vision-encoding zet een projector de beeldkenmerken om in tokens die compatibel zijn met het taalmodel. Deze tokens nemen contextposities in naast de tekst van de gebruiker en het gegenereerde antwoord.

LLaVA-OneVision meldt dat de AnyRes-fasen het aantal visuele tokens verhogen naarmate de ondersteunde resolutie toeneemt.

Meer visuele tokens verhogen het werk tijdens prompt-prefill, de vraag naar KV-cache en het deel van de context dat beschikbaar is voor de afbeelding in plaats van voor gebruikersinstructies of opgehaalde documenten.

Een afbeelding met hoge resolutie kan de taalkant dus vertragen, zelfs nadat de vision-encoder zijn eigen werk heeft voltooid.

-15% OFF

ZimaBoard 2 - Mini-thuisserver voor jouw grote idee

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

De kosten van attention hangen af van waar tokencompressie plaatsvindt

Als de vision-encoder elke patch verwerkt met volledige self-attention, kunnen de interne kosten snel oplopen naarmate het aantal patches stijgt. Als het taalmodel elke visuele token ontvangt, groeit ook de multimodale prefill.

Onderzoek naar versnelling bij hoge resolutie constateert dat AnyRes drie tot vijf keer meer tokens kan creëren dan verwerking met een lagere resolutie.

Tokenpooling, resampling, geleerde compressie en het selectief opnieuw verwerken van uitsneden kunnen de reeks verkleinen voordat deze het taalmodel bereikt. De besparing in rekenkracht hangt ervan af of de compressie vóór of na de dure verwerkingsfase plaatsvindt.

De druk van een hoge resolutie beperkt de capaciteit voor gelijktijdige AI-taken thuis

Een groot afbeeldingsverzoek kan geheugen van de vision-encoder, tijdelijke beeldtensoren, de KV-cache van het taalmodel en tijd op de accelerator bezetten terwijl andere gesprekken in huis wachten.

LLaVA-Mini onderzoekt compressie van visuele tokens, omdat overtollige beeldtokens de kosten van multimodale inferentie verhogen.

Het lokale AI-overzicht van ZimaSpace merkt op dat lokale AI-capaciteit afhangt van het type workload en niet alleen van het AI-label.

Een server die meerdere tekstgesprekken ondersteunt, kan minder gelijktijdige afbeeldingsverzoeken verwerken, vooral wanneer elke afbeelding een tegelfunctie met hoge details gebruikt.

Kies de resolutie op basis van het bewijs dat de taak moet behouden

Scèneclassificatie, duplicaatdetectie en globale fototagging kunnen werken na sterke verkleining. OCR, diagrammen, UI-screenshots, kassabonnen en inspectie van kleine objecten vereisen vaak meer detail of gerichte uitsneden.

CARES laat zien dat adaptieve resolutieselectie kan voorkomen dat elke afbeelding op de hoogst beschikbare resolutie wordt verwerkt.

Test verschillende resoluties met dezelfde afbeeldingen en vragen. Noteer de nauwkeurigheid van antwoorden, de volledigheid van OCR, het aantal visuele tokens, het piekgeheugen, de tijd tot de eerste token en het effect op een ander gelijktijdig gesprek.

De juiste instelling is de laagste resolutie of uitsnedestrategie die het bewijs behoudt dat de workflow nodig heeft. Meer pixels zijn alleen waardevol wanneer het model ze kan omzetten in betere resultaten voor de taak.