Pourquoi les résultats de recherche multimodale semblent-ils différents pour les captures d’écran et les photographies ?

La recherche multimodale diffère, car les captures d’écran encodent le texte et la disposition de l’interface, tandis que les photographies reposent davantage sur les objets, les scènes, le point de vue et l’éclairage.

Une recherche « erreur de routeur » peut renvoyer une capture d’écran, car l’OCR détecte cette expression, tandis que « routeur derrière un téléviseur » favorise une photographie dont les pixels montrent des objets et un contexte spatial. Il s’agit dans les deux cas d’images, mais les informations utiles occupent des canaux différents. Un seul embedding peut pondérer ces canaux de manière inégale selon les types de requêtes et les recadrages au sein d’un même index local.

Les captures d’écran concentrent le sens dans le texte et la disposition

Les captures d’écran contiennent des glyphes nets, des icônes, des panneaux et une géométrie d’interface répétée. Leur objet sémantique peut être un message d’erreur ou un workflow plutôt qu’un élément physique. L’OCR et l’analyse de la disposition peuvent créer des tokens très spécifiques qui dominent un embedding visuel vague.

Une étude comparative sur la compréhension des captures d’écran considère les captures d’écran comme un problème de compréhension distinct, car le texte, la disposition et les composants d’interface portent conjointement le sens. La reconnaissance d’images naturelles à elle seule ne tient pas compte d’une grande partie de cette structure.

Recadrer une capture d’écran peut supprimer le nom de l’application ou le contexte de navigation tout en laissant intacte la boîte de dialogue centrale. Les mots visibles correspondent toujours, mais le système peut ne plus savoir quel produit ou quelle étape les a générés. La disposition constitue donc une information, et non une simple décoration.

Les photographies dépendent davantage du point de vue et des caractéristiques de la scène

Les photographies contiennent de la perspective, de l’éclairage, des occultations, des textures et un arrière-plan. Les encodeurs visuels entraînés sur des paires image-légende associent souvent ces motifs à des concepts généraux. L’OCR peut ajouter des libellés provenant de panneaux ou d’appareils, mais l’embedding de la scène fournit généralement des relations qui ne sont pas inscrites dans les pixels.

Les travaux sur les représentations image-texte montrent des représentations conjointes apprises à partir de vastes collections de paires image-texte. Cette approche se transfère à différentes tâches liées aux images naturelles, mais ses performances reflètent toujours la distribution utilisée pour l’entraînement.

Une même requête peut donc emprunter deux voies de recherche : la correspondance littérale de texte pour les captures d’écran et la similarité visuelle sémantique pour les photos. Les poids de fusion déterminent la voie gagnante. Un changement de résultats ne signifie pas nécessairement qu’une modalité a été mal comprise ; il peut refléter une force différente des informations disponibles.

Quand la distinction entre capture d’écran et photo s’effondre

Cette distinction ne fonctionne plus pour les photographies d’écrans, les affiches numérisées, les mèmes et les captures d’écran contenant de grandes photos. Ces hybrides véhiculent à la fois des signaux textuels et des signaux d’image naturelle. Une classification rigide peut écarter le canal le plus important pour la requête de l’utilisateur.

Les recherches sur le décalage de domaine visuel mettent en évidence le décalage de domaine lorsque les images de test diffèrent des données d’entraînement. Les images d’interfaces et les images prises avec un appareil photo peuvent précisément créer cet écart de distribution.

Le mécanisme cesse également de s’appliquer lorsque les résultats diffèrent parce que les captures d’écran et les photos se trouvent dans des dossiers différents, des périmètres d’autorisation distincts ou des calendriers d’indexation différents. Le type de contenu doit être dissocié des métadonnées et de l’actualisation. Ajouter davantage de fonctionnalités multimodales n’améliore pas automatiquement le classement si la fusion est mal calibrée.

-15% OFF

ZimaBoard 2 - Mini serveur domestique pour votre grande idée

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Évaluez séparément le texte, la vision et la fusion

Créez des requêtes appariées portant sur le texte visible, l’identité des objets, la relation spatiale, le contexte de l’application et la date. Pour chacune, annotez les captures d’écran, les photos et les hybrides pertinents. Exécutez une recherche fondée uniquement sur le texte, uniquement sur l’image, puis une recherche fusionnée sur le même ensemble indexé, en enregistrant le rappel des candidats et le classement final par type de média.

Conservez les ressources d’évaluation avec les artefacts de l’index de recherche afin de pouvoir examiner localement le texte OCR, les embeddings et les autorisations. Figez l’instantané de l’index pendant la comparaison.

Si la recherche fondée uniquement sur le texte obtient de meilleurs résultats pour les requêtes sur les captures d’écran, améliorez l’OCR et la pondération de la disposition. Si la recherche fondée uniquement sur l’image obtient de meilleurs résultats pour les relations entre les éléments des photos, préservez les caractéristiques de la scène lors de la fusion. Si les hybrides échouent avec les deux méthodes, faites-les passer par les deux canaux. Si les classements changent avec des représentations identiques, examinez plutôt les filtres de métadonnées ou l’actualisation de l’index.