¿Por qué Vision Search no detecta objetos pequeños después de regenerar las miniaturas de las fotos?
La búsqueda visual puede pasar por alto objetos pequeños después de regenerar las miniaturas cuando la nueva ruta de preprocesamiento elimina píxeles o contexto que el embedding codificaba anteriormente.
Una foto familiar puede contener una bicicleta, una etiqueta, una mascota o una herramienta que ocupa solo una pequeña región de la imagen original. Si un servicio de fotos regenera las vistas previas con un recorte, una regla de orientación, una resolución o un ajuste de compresión diferentes, el modelo de visión recibe una entrada distinta aunque el archivo original no haya cambiado. El tamaño efectivo del objeto y el contexto circundante determinan si ese detalle sobrevive en el embedding.
La geometría de la miniatura determina cuántos píxeles del objeto sobreviven
Los codificadores de visión normalmente cambian el tamaño de la entrada para ajustarla a un tensor cuadrado o rectangular fijo. Un objeto pequeño que ocupa 30 píxeles en el original puede reducirse por debajo de una escala de características útil, mientras que un recorte central puede eliminar por completo un objeto situado en el borde.
La inferencia segmentada de objetos pequeños divide las imágenes grandes en regiones superpuestas antes de la detección, de modo que los objetos pequeños conserven más píxeles en la entrada del modelo. Las mejoras señaladas demuestran que reducir el tamaño de toda la imagen puede borrar detalles útiles incluso cuando la resolución original es alta.
Las políticas de ajustar, rellenar y recortar al centro no son equivalentes. Ajustar conserva todo el encuadre con relleno, rellenar puede recortar los bordes y el tratamiento de la orientación puede girar la imagen antes o después del recorte. La regeneración cambia los resultados de búsqueda cuando cualquiera de estas operaciones difiere de las utilizadas para el embedding anterior.
Las características multiescala no pueden recuperar los píxeles descartados
Los sistemas de visión modernos combinan mapas espaciales detallados con características semánticas más profundas, lo que ayuda a reconocer objetos en varias escalas. Esa representación sigue comenzando con la miniatura presentada al codificador; la información eliminada durante el cambio de tamaño o la compresión no está disponible para las capas posteriores.
Las pirámides de características multiescala construyen una pirámide de características de arriba abajo con conexiones laterales, de modo que existan características semánticamente sólidas en varias resoluciones. Este mecanismo explica por qué el reconocimiento de objetos pequeños se beneficia de mapas espaciales detallados en lugar de una única representación aproximada.
Un embedding de imagen global puede priorizar la escena dominante e ignorar un objeto diminuto incluso cuando un detector puede encontrarlo. Las canalizaciones de búsqueda que necesitan recuperar objetos concretos pueden requerir mosaicos, embeddings de regiones o descripciones de objetos detectados, además de un único vector de toda la miniatura.
La compresión y la normalización desplazan las similitudes límite
La cuantización JPEG, el enfoque, la conversión de color, la composición alfa y los filtros de remuestreo alteran los bordes y las texturas locales. Los objetos grandes permanecen semánticamente estables, pero un objeto pequeño cercano al umbral de reconocimiento del modelo puede cambiar lo suficiente como para quedar por debajo del límite de recuperación.
Las regiones enfocadas de alta resolución dirigen el procesamiento de alta resolución hacia regiones prometedoras con objetos pequeños, en lugar de aplicar una costosa pirámide de imágenes en todas partes. Su diseño de coarse-to-fine demuestra que asignar píxeles a la región relevante puede preservar la precisión con un procesamiento total menor.
El límite del diagnóstico consiste en asumir que todo resultado cambiado es un defecto de la miniatura. Un nuevo modelo de embeddings, un codificador de consultas modificado, una reconstrucción del índice o la competencia entre los resultados principales también pueden cambiar las posiciones. Compara las miniaturas antiguas y nuevas mediante el mismo modelo congelado y el mismo índice antes de atribuir la causa.
Realiza una prueba de recuperación del original frente a la miniatura
Selecciona cincuenta fotos que contengan objetos pequeños en el centro, los bordes, regiones oscuras y fondos recargados. Guarda las miniaturas anteriores, regénéralas y registra las dimensiones, los cuadros de recorte, la orientación, el códec, la calidad, el perfil de color y los hashes de archivo de ambas versiones.
Usa el método de procesamiento por regiones de procesamiento basado en regiones para comparar los embeddings de la imagen original, la miniatura antigua, la miniatura nueva y los mosaicos con las mismas consultas y el mismo índice. Registra los píxeles del objeto, la recuperación en los primeros resultados, los cambios de posición y los fallos según la ubicación y el tamaño del objeto.
Conserva las miniaturas regeneradas solo si cumplen la recuperación de objetos pequeños requerida con el coste de almacenamiento y procesamiento previsto. Si las vistas previas globales siguen siendo insuficientes, añade embeddings de regiones para fotos seleccionadas en lugar de afirmar que una mayor resolución de miniatura garantiza la búsqueda de objetos.
Productos recomendados
Centro de Tecnología e IA
Más para leer
¿Por qué se dispara el consumo de energía de la GPU al inicio de una solicitud de inferencia local?
Observa cómo el aumento de frecuencia de la GPU, la precarga del modelo, la inicialización del kernel, la asignación de memoria y los intervalos...
¿Por qué cambia la clasificación de búsqueda vectorial cuando se consultan varios segmentos de índice a la vez?
Aprende cómo los límites de candidatos por segmento, los grafos aproximados, la calibración de puntuaciones, las actualizaciones y la consolidación cambian la clasificación de...
¿Por qué se dividen los grupos de deduplicación de fotos después de editar los metadatos?
Descubre cómo los hashes exactos, los hashes perceptuales, la orientación EXIF, las marcas de tiempo, los umbrales y las versiones de la canalización hacen...
