Pourquoi les représentations vectorielles des documents changent-elles après la mise à jour d’un pack linguistique OCR ?

Les représentations vectorielles des documents changent après une mise à jour de la langue d’OCR, car le nouveau moteur de reconnaissance modifie le texte, les limites des tokens ou la mise en page fournie à l’encodeur.

Une facture numérisée peut sembler identique alors que son texte extrait change d’une exécution OCR à l’autre. Un meilleur modèle linguistique peut corriger les accents et les mots, mais il peut aussi segmenter les mots composés différemment, réorganiser les colonnes ou reconnaître les chiffres dans un autre système d’écriture. Les hachages des segments, les séquences de tokens, les positions vectorielles et les plus proches voisins changent alors sensiblement en aval.

Le pack linguistique modifie la séquence de symboles reconnue

L’OCR combine les informations visuelles avec un jeu de caractères, un lexique et un modèle de séquence propres à la langue. La mise à jour de ces composants peut remplacer des glyphes ambigus, modifier les signes diacritiques, réunir ou séparer des mots et sélectionner un autre système d’écriture pour la même région ambiguë.

Un cadre d’entraînement OCR multilingue montre qu’un entraînement tenant compte de la langue améliore l’exhaustivité et la robustesse de l’OCR pour les textes petits, flous et dispersés spatialement. Ces améliorations modifient nécessairement les chaînes consommées par les étapes de recherche ultérieures. Cette distinction reste visible lors des tests domestiques ultérieurs.

Même les corrections modifient les représentations vectorielles, car les encodeurs tokenisent différemment la nouvelle chaîne. Un seul code produit corrigé peut avoir plus d’importance que plusieurs changements de ponctuation lorsque la requête dépend de cet identifiant ; la distance vectorielle ne correspond donc pas directement au pourcentage d’erreurs de caractères.

La mise en page et le découpage amplifient les petites différences d’OCR

La sortie OCR est généralement convertie en ordre de lecture, paragraphes, tableaux et segments avant la vectorisation. Un changement de saut de ligne ou d’affectation de colonne peut déplacer des phrases d’un segment à l’autre et remplacer une part bien plus importante du contexte encodé que ne le laissent penser les seuls caractères modifiés.

Les recherches sur les relations spatiales dans l’OCR soutiennent que l’ordre de lecture unidimensionnel peut déformer les relations spatiales entre les mots OCR. Cela explique pourquoi une mise en page ou un traitement linguistique mis à jour peut réorganiser le voisinage sémantique, même lorsque l’image de la page reste inchangée.

Le découpage selon le nombre de tokens ajoute une autre discontinuité. Si les mots corrigés nécessitent un nombre différent de tokens, les limites suivantes se décalent et chaque vecteur ultérieur peut contenir un mélange différent de phrases, jusqu’à ce qu’une limite de section stable réinitialise le processus.

Un meilleur résultat OCR peut tout de même réduire la stabilité de la recherche

Un texte amélioré peut rapprocher un document de son véritable voisinage sémantique, mais un index mixte contenant d’anciens et de nouveaux vecteurs OCR devient incohérent en interne. Des pages en double peuvent être classées différemment uniquement parce qu’elles ont été traitées avec des versions différentes du pipeline.

Une étude sur la recherche hybride sensible à l’OCR améliore le texte OCR bruité avant la recherche creuse et dense, et rapporte de meilleurs résultats sans modifier l’architecture de recherche. Elle montre que la qualité du texte en amont influence à la fois la correspondance lexicale et la représentation vectorielle en aval.

La limite d’attribution consiste à imputer chaque changement vectoriel au pack linguistique. Les versions de l’analyseur, la normalisation, le modèle de vectorisation, la taille des segments, les noyaux en virgule flottante et la quantification de l’index peuvent également déplacer les vecteurs. Figez ces étapes et comparez d’abord le texte extrait avant d’identifier l’OCR comme cause.

Featured

ZimaCube 2 NAS personnel Cloud à domicile

ZimaCube2

$799.00 - $2,499.00

Buy Now

Versionnez et rejouez le pipeline OCR-vers-vectorisation

Sélectionnez des pages contenant des accents, des systèmes d’écriture mixtes, des tableaux, de l’écriture manuscrite, des codes produits et du texte monolingue propre. Exécutez les anciens et les nouveaux packs linguistiques sur des images identiques, tout en figeant l’analyseur, le normaliseur, le découpeur, le modèle de vectorisation, la précision et les paramètres de l’index. Le résultat intermédiaire doit rester inspectable avant de poursuivre l’automatisation.

Comparez les modifications de caractères et de mise en page avec l’incohérence de l’OCR, puis consignez l’ordre de lecture, les limites des segments, le nombre de tokens, le déplacement cosinus, le chevauchement des plus proches voisins, le rappel de recherche et l’exactitude des citations. Distinguez les améliorations des vecteurs simplement différents. Cette limite doit être mesurée séparément dans des conditions d’utilisation réalistes.

Réindexez uniformément une collection uniquement lorsque la nouvelle version OCR améliore la recherche ou la qualité des éléments probants sur un ensemble de données non utilisé pour l’entraînement. Si certaines langues régressent, conservez des sorties versionnées ou acheminez les pages selon la langue détectée ; ne mélangez jamais des générations OCR non étiquetées en attribuant les changements de classement à une dérive du modèle.