Hur påverkar OCR-upplösningen storleken på RAG-indexet?

OCR-upplösning påverkar RAG-indexets storlek indirekt genom igenkänningsutbyte, brus, layoutresultat och bevarade bilder, snarare än genom DPI i sig.

Om ett familjearkiv skannas med 600 DPI blir det fyra gånger så många pixlar som vid 300 DPI för samma sidmått, men ett textbaserat vektorindex lagrar inte dessa pixlar. Storleken beror på tecknen, layoutobjekten, segmenten, metadata och embeddingarna som genereras efter OCR. Högre upplösning kan återskapa mer verklig text, medan mycket dåliga bilder också kan generera brusiga token som förstorar indexet utan att förbättra svaren.

Antalet pixlar ökar innan texten kommer in i indexet

Om den linjära upplösningen fördubblas fyrdubblas antalet bildpixlar, vilket ökar avkodning, förbehandling, tillfällig lagring och OCR-arbete. Om pipelinen behåller sidbilder, beskärningar eller miniatyrbilder bredvid vektorerna kan dessa tillgångar dominera lagringsbehovet; ett textbaserat index kastar i huvudsak bort rasterbilden efter extraktionen.

Tesseracts vägledning om igenkänningskvalitet påpekar att igenkänningen generellt gynnas av bilder på omkring 300 DPI och att omskalning kan hjälpa indata med lägre upplösning. Detta är en rekommendation för igenkänningskvalitet, inte en regel om att en embedding-databas lagrar pixlar med 300 DPI.

Gränsen för vad som lagras måste därför vara tydlig: källfiler, OCR-derivat, textsegment, vektordata och miniatyrbilder är separata lager. En ändring av DPI kan påverka varje lager på olika sätt, även när det slutliga antalet dokument är oförändrat.

Igenkänningsutbytet förändrar antalet token och segment

En tydligare skanning kan återskapa fotnoter, små etiketter, tabellceller och skiljetecken som lägre upplösning missar. Mer giltig text ökar antalet token och kan skapa ytterligare segment och vektorer. Trasiga tecken och upprepat skräp kan däremot också öka antalet token, eftersom tokeniserare delar upp skadade strängar ineffektivt.

Forskning om OCR med låg upplösning utvärderar igenkänning från dokument med extremt låg upplösning och förklarar varför system som är utformade kring text med 300 DPI beter sig annorlunda efter nedsampling och förstoring. Resultaten visar att upplösning och teckenstorlek påverkar det extraherade innehållet, inte bara den visuella filstorleken.

Layoutmedveten OCR kan lägga till koordinater, läsordning, konfidens och tabellstruktur. Dessa nyttolaster kan vara större än själva klartexten, så samma igenkända ord kan ge olika indexstorlek beroende på om rumsliga bevis bevaras för källhänvisningar.

Högre DPI slutar hjälpa när teckendetaljerna har mättats

När teckenstrecken är tillräckligt väl återgivna för OCR-modellen kan fler pixlar öka beräkningskostnaden och storleken på bildderivat utan att tillföra text. Komprimeringsartefakter, oskärpa, skevhet, handskrift och felaktiga språkmodeller kan fortfarande vara de begränsande faktorerna vid hög DPI.

OCRmyPDF:s optimering av OCR-bilder beskriver optimeringssteg som kan komprimera om eller omvandla sidbilder efter igenkänningen. Det visar varför PDF-storleken efter OCR beror på bildkodning och optimeringspolicy, inte enbart på den skanningsupplösning som användes vid inläsningen.

Felgränsen ligger i antagandet att indexets tillväxt bevisar bättre OCR. Ett index kan växa eftersom det återställde användbar text, duplicerade överlappande segment, behöll större bilder eller producerade brus; endast tester mot facit för igenkänning och sökning kan skilja dessa orsaker åt.

Featured

ZimaCube 2 personlig molnhem NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Vanliga frågor om OCR-upplösning och indexlagring

Är 600 DPI alltid bättre än 300 DPI för RAG?

Nej. 600 DPI kan hjälpa vid mycket liten text eller detaljerade formulär, men innebär ofta mer bearbetning och bildlagring när vanlig tryckt text redan återges tillräckligt väl. Testa teckenprecision och sökresultat i stället för att som standard välja skannerns högsta inställning.

Blir embeddingarna större när skanningens DPI ökar?

Vektordimensionen förblir vanligtvis oförändrad för en given embeddingmodell. Indexet växer endast om OCR med högre upplösning producerar fler segment, mer metadata, ytterligare regionembeddings eller bevarade bildderivat. Denna effekt bör vara mätbar under den avsedda hemserverbelastningen.

Kan OCR med låg upplösning göra ett index större?

Ja. Förvrängda teckensekvenser kan tokeniseras till många fragment och skapa brusiga segment. En mindre källbild kan därför producera fler texttoken än en ren skanning, samtidigt som sökning och källhänvisningar blir sämre. Skillnaden är viktig när flera pipeline-steg delar samma lagrings- och minnesbudget.

Mät lagringen per pipeline-lager

Välj sidor med normal text, liten text, tabeller, handskrift och försämrade skanningar. Bearbeta dem med flera effektiva upplösningar medan OCR-modell, språk, segmentering, embeddingdimension och bevarandepolicy hålls konstanta. Registrera sedan teckenprecision, antal token, antal segment, vektorbyte, metadatabyte, derivat, tillfälliga toppar och sökkvalitet.

Använd kontrollerna av läsordning i kontrollerna av läsordning när tabeller eller formulär förekommer. Hänför varje byte till källbilder, OCR-resultat, segment, vektorer eller miniatyrbilder, så att en större katalog inte felaktigt rapporteras som tillväxt i vektorindexet.

Välj den lägsta upplösning som uppfyller målen för igenkänning och källhänvisningar för varje dokumentklass. Lagra högupplösta källor endast där senare ombearbetning kräver dem, och ta bort brusig OCR eller överflödiga derivat innan du drar slutsatsen att fler pixlar förbättrar kunskapsbasen.