Perché la risoluzione delle immagini modifica il carico dell’IA multimodale domestica?
La risoluzione delle immagini modifica il carico dell’IA multimodale, perché gli input più grandi generalmente creano più patch visive, ritagli, token e operazioni di attenzione prima della generazione del testo.
Un server IA domestico può rispondere rapidamente a una foto del telefono ridimensionata, ma rallentare con uno screenshot a piena risoluzione, una pagina scansionata, un panorama o una richiesta con più immagini. Il numero originale di pixel non viene sempre trasferito direttamente al modello linguistico; un encoder visivo ridimensiona, ritaglia, suddivide in riquadri e converte l’immagine in token visivi. La strategia di pre-elaborazione scelta determina quanti dettagli fini vengono conservati e quante risorse di calcolo, memoria, spazio nel contesto e tempo di coda consuma la richiesta.
I Vision Transformer convertono i pixel in token di patch
Un encoder visivo suddivide comunemente un’immagine in patch di dimensioni fisse, proietta ogni patch in un embedding ed elabora la sequenza risultante con livelli Transformer.
L’articolo sui Vision Transformer tratta un’immagine come una sequenza di patch, anziché come un input indivisibile.
A parità di dimensione delle patch, aumentare sia la larghezza sia l’altezza dell’immagine crea un numero di patch proporzionale all’area dell’immagine. Raddoppiare entrambe le dimensioni può quindi produrre circa quattro volte più patch grezze prima delle successive operazioni di pooling o compressione.
La pre-elaborazione può eliminare pixel con il ridimensionamento o conservarli tramite la suddivisione in riquadri
Alcune pipeline ridimensionano ogni immagine a una risoluzione fissa dell’encoder. Il numero di token rimane stabile, ma durante il sottocampionamento il testo piccolo e gli oggetti minuti possono scomparire.
LLaVA-UHD utilizza il ritaglio alla risoluzione nativa per dividere le immagini grandi in sezioni di dimensioni variabili e organizzare i token visivi risultanti.
La suddivisione in riquadri conserva i dettagli locali elaborando più ritagli, ma ogni ritaglio aggiuntivo ripete il lavoro dell’encoder visivo e contribuisce con token o caratteristiche compresse al modello linguistico.
Due file con lo stesso numero di megapixel possono inoltre produrre layout di ritaglio diversi, perché il rapporto d’aspetto e le regole di selezione della griglia del runtime modificano il numero di riquadri necessari.
Una risoluzione più alta può moltiplicare i token visivi all’interno del modello linguistico
Dopo la codifica visiva, un proiettore converte le caratteristiche dell’immagine in token compatibili con il modello linguistico. Questi token occupano posizioni nel contesto insieme al testo dell’utente e alla risposta generata.
LLaVA-OneVision riferisce che le sue fasi AnyRes aumentano il numero di token visivi all’aumentare della risoluzione supportata.
Un numero maggiore di token visivi aumenta il lavoro di pre-riempimento del prompt, la memoria necessaria per la cache KV e la quantità di contesto disponibile per l’immagine invece che per le istruzioni dell’utente o i documenti recuperati.
Un’immagine ad alta risoluzione può quindi rallentare il lato linguistico anche dopo che l’encoder visivo ha completato il proprio lavoro.
Il costo dell’attenzione dipende dal punto in cui avviene la compressione dei token
Se l’encoder visivo elabora ogni patch con un’attenzione completamente auto-regressiva, il suo costo interno può crescere rapidamente con l’aumento del numero di patch. Se il modello linguistico riceve ogni token visivo, cresce anche il pre-riempimento multimodale.
La ricerca sull’accelerazione ad alta risoluzione osserva che AnyRes può creare da tre a cinque volte più token rispetto all’elaborazione a bassa risoluzione.
Il pooling dei token, il ricampionamento, la compressione appresa e la rielaborazione selettiva dei ritagli possono ridurre la sequenza prima che raggiunga il modello linguistico. Il risparmio di calcolo dipende dal fatto che la compressione avvenga prima o dopo la fase costosa.
La pressione della risoluzione riduce la capacità di elaborazione IA domestica simultanea
Una richiesta con un’immagine grande può occupare la memoria dell’encoder visivo, i tensori temporanei dell’immagine, la cache KV del modello linguistico e il tempo dell’acceleratore, mentre altre chat domestiche restano in attesa.
LLaVA-Mini esplora la compressione dei token visivi, perché i token ridondanti delle immagini aumentano il costo dell’inferenza multimodale.
La panoramica sull’IA locale di ZimaSpace osserva che la capacità dell’IA locale dipende dal tipo di carico di lavoro, non solo dall’etichetta IA.
Un server che supporta diverse chat testuali può gestire un numero inferiore di richieste simultanee con immagini, soprattutto quando ogni immagine utilizza una modalità di suddivisione in riquadri ad alto dettaglio.
Scegli la risoluzione in base alle informazioni che l’attività deve preservare
La classificazione delle scene, il rilevamento dei duplicati e l’assegnazione di etichette generiche alle foto possono funzionare dopo un ridimensionamento aggressivo. OCR, diagrammi, screenshot di interfacce, ricevute e ispezione di oggetti piccoli spesso richiedono più dettagli o ritagli mirati.
CARES mostra che la selezione adattiva della risoluzione può evitare di elaborare ogni immagine alla massima risoluzione disponibile.
Testa diverse risoluzioni con le stesse immagini e domande. Registra la precisione delle risposte, la completezza dell’OCR, il numero di token visivi, la memoria di picco, il tempo al primo token e l’effetto su un’altra chat simultanea.
L’impostazione utile è la risoluzione o la strategia di ritaglio più bassa che preserva le informazioni necessarie al flusso di lavoro. Un numero maggiore di pixel è utile solo quando il modello riesce a trasformarlo in risultati migliori per l’attività.
Prodotti consigliati
Hub Tecnologico e AI
Altro da leggere
Perché le previsioni della casa intelligente diventano meno accurate dopo i cambiamenti stagionali delle abitudini?
Le routine stagionali cambiano il rapporto tra tempo, sensori, presenza e azioni desiderate, rendendo obsoleto un modello addestrato su abitudini precedenti.
Perché un NVR domestico perde gli eventi brevi quando il rilevamento degli oggetti è attivato?
Il tracciamento necessita di un numero sufficiente di rilevamenti per avviare e confermare una traiettoria, quindi un oggetto che compare solo per poco tempo...
Perché le etichette delle foto generate dall’IA cambiano dopo un aggiornamento del modello?
Un aggiornamento del modello modifica la rappresentazione e la classificazione utilizzate per assegnare le etichette, quindi la stessa foto può oltrepassare confini semantici o...
