¿Por qué la resolución de las imágenes cambia la carga de la IA multimodal para el hogar?
La resolución de la imagen cambia la carga de la IA multimodal porque las entradas más grandes suelen generar más parches visuales, recortes, tokens y trabajo de atención antes de la generación de texto.
Un servidor de IA doméstico puede responder rápidamente a partir de una foto del teléfono redimensionada, pero ralentizarse con una captura de pantalla a resolución completa, una página escaneada, una panorámica o una solicitud con varias imágenes. El número original de píxeles no siempre se transfiere directamente al modelo de lenguaje; un codificador visual redimensiona, recorta, divide en mosaicos y convierte la imagen en tokens visuales. La estrategia de preprocesamiento seleccionada determina cuánto detalle fino se conserva y cuánta capacidad de cálculo, memoria, espacio de contexto y tiempo de cola consume la solicitud.
Los transformadores visuales convierten los píxeles en tokens de parches
Un codificador visual suele dividir una imagen en parches de tamaño fijo, proyectar cada parche en una representación vectorial y procesar la secuencia resultante con capas de transformador.
El artículo sobre Vision Transformer trata una imagen como una secuencia de parches, en lugar de como una entrada indivisible.
Con un tamaño de parche fijo, aumentar tanto el ancho como la altura de la imagen genera más parches en proporción al área de la imagen. Por lo tanto, duplicar cada dimensión puede producir aproximadamente cuatro veces más parches sin procesar antes de aplicar operaciones posteriores de agrupación o compresión.
El preprocesamiento puede eliminar píxeles al redimensionar o conservarlos mediante mosaicos
Algunas canalizaciones redimensionan todas las imágenes a una resolución fija del codificador. El número de tokens se mantiene estable, pero el texto pequeño y los objetos detallados pueden desaparecer durante la reducción de escala.
LLaVA-UHD utiliza el seccionamiento a resolución nativa para dividir las imágenes grandes en secciones de tamaño variable y organizar los tokens visuales resultantes.
La división en mosaicos conserva el detalle local al procesar varios recortes, pero cada recorte adicional repite el trabajo del codificador visual y aporta tokens o características comprimidas al modelo de lenguaje.
Dos archivos con el mismo número de megapíxeles también pueden producir distribuciones de recortes diferentes porque la relación de aspecto y las reglas de selección de cuadrícula del entorno de ejecución cambian cuántos mosaicos se necesitan.
Una mayor resolución puede multiplicar los tokens visuales dentro del modelo de lenguaje
Tras la codificación visual, un proyector convierte las características de la imagen en tokens compatibles con el modelo de lenguaje. Esos tokens ocupan posiciones de contexto junto con el texto del usuario y la respuesta generada.
LLaVA-OneVision informa de que sus etapas AnyRes aumentan el número de tokens visuales a medida que aumenta la resolución admitida.
Más tokens visuales incrementan el trabajo de precarga del prompt, la demanda de la caché KV y la cantidad de contexto disponible para la imagen en lugar de para las instrucciones del usuario o los documentos recuperados.
Por lo tanto, una imagen de alta resolución puede ralentizar el procesamiento del lenguaje incluso después de que el codificador visual haya terminado su propio trabajo.
El coste de la atención depende de dónde se comprimen los tokens
Si el codificador visual procesa cada parche con atención propia completa, su coste interno puede crecer rápidamente a medida que aumenta el número de parches. Si el modelo de lenguaje recibe todos los tokens visuales, la precarga multimodal también aumenta.
La investigación sobre aceleración de alta resolución observa que AnyRes puede crear entre tres y cinco veces más tokens que el procesamiento a menor resolución.
La agrupación de tokens, el remuestreo, la compresión aprendida y la repetición selectiva de recortes pueden reducir la secuencia antes de que llegue al modelo de lenguaje. El ahorro de cálculo depende de si la compresión se produce antes o después de la etapa costosa.
La presión de la resolución reduce la capacidad de IA doméstica simultánea
Una solicitud con una imagen grande puede ocupar memoria del codificador visual, tensores de imagen temporales, la caché KV del modelo de lenguaje y tiempo del acelerador mientras otras conversaciones del hogar esperan.
LLaVA-Mini explora la compresión de tokens visuales porque los tokens de imagen redundantes elevan el coste de la inferencia multimodal.
La descripción general de la IA local de ZimaSpace señala que la capacidad de la IA local depende del tipo de carga de trabajo, no solo de la etiqueta de IA.
Un servidor que admite varias conversaciones de texto puede aceptar menos solicitudes de imágenes simultáneas, especialmente cuando cada imagen utiliza un modo de división en mosaicos con mucho detalle.
Elige la resolución según las evidencias que la tarea debe conservar
La clasificación de escenas, la detección de duplicados y el etiquetado general de fotos pueden funcionar tras un redimensionamiento agresivo. El OCR, los diagramas, las capturas de interfaces, los recibos y la inspección de objetos pequeños suelen requerir más detalle o recortes específicos.
CARES muestra que la selección adaptativa de la resolución puede evitar procesar todas las imágenes con la resolución máxima disponible.
Prueba varias resoluciones con las mismas imágenes y preguntas. Registra la precisión de las respuestas, la integridad del OCR, el número de tokens visuales, la memoria máxima, el tiempo hasta el primer token y el efecto en otra conversación simultánea.
La configuración útil es la resolución o estrategia de recorte más baja que conserve las evidencias que necesita el flujo de trabajo. Más píxeles solo son valiosos cuando el modelo puede convertirlos en mejores resultados para la tarea.
Productos recomendados
Centro de Tecnología e IA
Más para leer
¿Por qué las predicciones del hogar inteligente son menos precisas después de los cambios estacionales en la rutina?
Las rutinas estacionales cambian la relación entre el tiempo, los sensores, la ocupación y las acciones deseadas, lo que vuelve obsoleto un modelo entrenado...
¿Por qué un NVR doméstico no registra eventos breves cuando el seguimiento de objetos está activado?
El seguimiento necesita suficientes detecciones para iniciar y confirmar una trayectoria, por lo que un objeto que aparece brevemente puede desaparecer antes de que...
¿Por qué cambian las etiquetas de las fotos generadas por IA después de actualizar el modelo?
Una actualización del modelo cambia la representación y la clasificación utilizadas para asignar etiquetas, por lo que la misma foto puede cruzar diferentes límites...
