Comment la résolution OCR affecte-t-elle la taille de l’index RAG ?
La résolution OCR influe indirectement sur la taille de l’index RAG par le taux de reconnaissance, le bruit, la structure produite et les images conservées, plutôt que par le seul nombre de DPI.
Numériser une archive familiale à 600 DPI produit quatre fois plus de pixels qu’à 300 DPI pour les mêmes dimensions de page, mais un index vectoriel contenant uniquement du texte ne stocke pas ces pixels. Sa taille dépend des caractères, des éléments de mise en page, des segments, des métadonnées et des plongements générés après l’OCR. Une résolution supérieure peut récupérer davantage de texte réel, tandis que des images de très mauvaise qualité peuvent générer des jetons bruités qui agrandissent également l’index sans améliorer les réponses.
Le nombre de pixels augmente avant l’entrée du texte dans l’index
Le doublement de la résolution linéaire quadruple le nombre de pixels de l’image, ce qui augmente le décodage, le prétraitement, le stockage temporaire et le travail d’OCR. Si le pipeline conserve les images des pages, les recadrages ou les miniatures à côté des vecteurs, ces ressources peuvent dominer le stockage ; un index contenant uniquement du texte élimine généralement le raster après l’extraction.
Les conseils de Tesseract sur la qualité de reconnaissance indiquent que la reconnaissance bénéficie généralement d’images d’environ 300 DPI et que le redimensionnement peut aider les entrées de résolution inférieure. Il s’agit d’une recommandation relative à la qualité de reconnaissance, et non d’une règle selon laquelle une base de données d’embeddings stocke des pixels à 300 DPI.
La limite de stockage doit donc être explicite : fichiers sources, dérivés OCR, segments de texte, données vectorielles et miniatures constituent des couches distinctes. Modifier les DPI peut affecter chaque couche différemment, même lorsque le nombre final de documents reste inchangé.
Le taux de reconnaissance modifie le nombre de jetons et de segments
Une numérisation plus nette peut récupérer des notes de bas de page, de petites étiquettes, des cellules de tableau et des signes de ponctuation ignorés par une résolution inférieure. Une quantité accrue de texte valide augmente le nombre de jetons et peut créer des segments et des vecteurs supplémentaires. À l’inverse, des glyphes déformés et des répétitions incohérentes peuvent augmenter le nombre de jetons, car les tokeniseurs découpent inefficacement les chaînes corrompues.
Les recherches sur l’OCR en basse résolution évaluent la reconnaissance de documents en très basse résolution et expliquent pourquoi les systèmes conçus pour du texte à 300 DPI se comportent différemment après réduction et agrandissement. Les résultats montrent que la résolution et la taille des caractères influent sur le contenu extrait, et pas uniquement sur la taille visuelle du fichier.
Un OCR tenant compte de la mise en page peut ajouter des coordonnées, l’ordre de lecture, un niveau de confiance et la structure des tableaux. Ces données peuvent dépasser le texte brut lui-même ; les mêmes mots reconnus peuvent donc produire des tailles d’index différentes selon que les informations spatiales sont conservées pour les citations.
Une résolution supérieure cesse d’être utile une fois le niveau de détail des glyphes saturé
Une fois les traits des caractères suffisamment bien résolus pour le modèle OCR, ajouter des pixels peut augmenter le temps de calcul et la taille des images dérivées sans ajouter de texte. Les artefacts de compression, le flou, l’inclinaison, l’écriture manuscrite et les modèles linguistiques incorrects peuvent rester les facteurs limitants à haute résolution.
L’optimisation des images OCR d’OCRmyPDF décrit des étapes d’optimisation qui peuvent recompresser ou transformer les images des pages après la reconnaissance. Cela montre pourquoi la taille d’un PDF après OCR dépend de l’encodage des images et de la politique d’optimisation, et pas simplement de la résolution de numérisation utilisée lors de l’ingestion.
Le principal écueil consiste à supposer que la croissance de l’index prouve que l’OCR est meilleur. Un index peut augmenter parce qu’il a récupéré du texte utile, dupliqué des segments qui se chevauchent, conservé des images plus volumineuses ou produit du bruit ; seuls la reconnaissance par rapport à une référence et les tests de récupération permettent de distinguer ces causes.
FAQ sur la résolution OCR et le stockage de l’index
600 DPI est-il toujours préférable à 300 DPI pour le RAG ?
Non. 600 DPI peut aider pour les petits caractères ou les formulaires détaillés, mais cette résolution augmente souvent le traitement et le stockage des images alors que le texte imprimé courant est déjà suffisamment résolu. Testez la précision des caractères et la récupération au lieu de sélectionner par défaut le réglage le plus élevé du scanner.
Les embeddings deviennent-ils plus volumineux lorsque la résolution de numérisation augmente ?
La dimension des vecteurs reste généralement fixe pour un modèle d’embeddings donné. L’index n’augmente que si l’OCR à plus haute résolution produit davantage de segments, plus de métadonnées, des embeddings de régions supplémentaires ou des dérivés d’images conservés. Cet effet doit rester mesurable dans la charge de travail prévue sur le serveur domestique.
Un OCR en basse résolution peut-il rendre un index plus volumineux ?
Oui. Des séquences de caractères illisibles peuvent être tokenisées en nombreux fragments et créer des segments bruités. Une image source plus petite peut donc produire davantage de jetons de texte qu’une numérisation nette, tout en offrant une récupération et des citations moins bonnes. Cette distinction est importante lorsque plusieurs étapes du pipeline partagent le même budget de stockage et de mémoire.
Mesurez le stockage par couche du pipeline
Sélectionnez des pages contenant du texte courant, des petits caractères, des tableaux, de l’écriture manuscrite et des numérisations dégradées. Traitez-les à plusieurs résolutions effectives en gardant constants le modèle OCR, la langue, le découpage, la dimension des embeddings et la politique de conservation, puis consignez la précision des caractères, le nombre de jetons, le nombre de segments, les octets des vecteurs, les octets des métadonnées, les dérivés, les pics temporaires et la qualité de récupération.
Utilisez les contrôles de l’ordre de lecture des contrôles de l’ordre de lecture lorsque des tableaux ou des formulaires sont présents. Attribuez chaque octet aux images sources, à la sortie OCR, aux segments, aux vecteurs ou aux miniatures afin qu’un répertoire plus volumineux ne soit pas présenté à tort comme une croissance de l’index vectoriel.
Choisissez la résolution la plus basse qui atteint les objectifs de reconnaissance et de citation pour chaque catégorie de document. Ne stockez les sources haute résolution que lorsque leur retraitement ultérieur le nécessite, et supprimez l’OCR bruité ou les dérivés redondants avant de conclure que davantage de pixels améliorent la base de connaissances.
Produits recommandés
Centre Tech & IA
Plus à lire
Un modèle de langage local peut-il reprendre la génération après le redémarrage de son processus ?
Une explication de la reprise de génération des LLM axée sur les mécanismes, de ses compromis en matière de ressources partagées, de trois FAQ...
Un serveur domestique peut-il exécuter des embeddings et du transcodage vidéo sur le même GPU intégré ?
Une explication axée sur les mécanismes des embeddings partagés de l’iGPU et du transcodage, de leurs compromis en matière de ressources partagées, de trois...
Quel est l’impact de la durée de vie des jetons d’accès sur la sécurité et les contraintes au sein du foyer ?
Une explication fondée sur les mécanismes de la durée de vie des jetons d’accès, de ses compromis en matière de ressources partagées, de trois...
