Welke invloed heeft OCR-resolutie op de grootte van een RAG-index?
De OCR-resolutie beïnvloedt de omvang van een RAG-index indirect via de herkenningsopbrengst, ruis, lay-outuitvoer en behouden afbeeldingen, en niet alleen via DPI.
Een familiearchief scannen op 600 DPI levert voor dezelfde paginagrootte vier keer zoveel pixels op als scannen op 300 DPI, maar een vectorindex met alleen tekst slaat die pixels niet op. De omvang ervan hangt af van de tekens, lay-outobjecten, segmenten, metadata en embeddings die na OCR worden gegenereerd. Een hogere resolutie kan meer echte tekst opleveren, terwijl zeer slechte afbeeldingen ook ruisachtige tokens kunnen genereren die de index groter maken zonder de antwoorden te verbeteren.
Het aantal pixels neemt toe voordat tekst de index binnenkomt
Een verdubbeling van de lineaire resolutie verviervoudigt het aantal beeldpixels en verhoogt de benodigde decodering, voorbewerking, tijdelijke opslag en OCR-verwerking. Als de pipeline paginabeelden, uitsneden of miniaturen naast vectoren bewaart, kunnen die assets de opslag domineren; een index met alleen tekst verwijdert de rasterafbeelding na extractie grotendeels.
De richtlijnen voor herkenningskwaliteit van Tesseract vermelden dat herkenning doorgaans baat heeft bij afbeeldingen van ongeveer 300 DPI en dat herschalen kan helpen bij invoer met een lagere resolutie. Dit is een aanbeveling voor herkenningskwaliteit, geen regel die bepaalt dat een embeddingdatabase pixels van 300 DPI opslaat.
De opslaggrens moet daarom expliciet zijn: bronbestanden, OCR-afleidingen, tekstsegmenten, vectorgegevens en miniaturen zijn afzonderlijke lagen. Het wijzigen van DPI kan elke laag anders beïnvloeden, zelfs wanneer het uiteindelijke aantal documenten ongewijzigd blijft.
De herkenningsopbrengst verandert het aantal tokens en segmenten
Een duidelijkere scan kan voetnoten, kleine labels, tabelcellen en leestekens herkennen die bij een lagere resolutie worden gemist. Meer geldige tekst verhoogt het aantal tokens en kan extra segmenten en vectoren creëren. Omgekeerd kunnen vervormde glyphs en herhaalde onzin het aantal tokens verhogen, omdat tokenizers beschadigde tekenreeksen inefficiënt opsplitsen.
Onderzoek naar OCR met lage resolutie beoordeelt herkenning vanuit documenten met ultralage resolutie en legt uit waarom systemen die zijn ontworpen voor tekst van 300 DPI zich anders gedragen na verkleinen en vergroten. De resultaten tonen aan dat resolutie en tekengrootte invloed hebben op de geëxtraheerde inhoud, niet alleen op de visuele bestandsgrootte.
Lay-outbewuste OCR kan coördinaten, leesvolgorde, betrouwbaarheid en tabelstructuur toevoegen. Die gegevens kunnen groter zijn dan de platte tekst zelf, waardoor dezelfde herkende woorden verschillende indexgroottes kunnen opleveren afhankelijk van de vraag of ruimtelijk bewijs voor citaten wordt bewaard.
Een hogere DPI helpt niet meer zodra de glyphdetails verzadigd zijn
Zodra de letterstreken voldoende goed zijn opgelost voor het OCR-model, kunnen extra pixels de verwerking en de omvang van afgeleide afbeeldingen vergroten zonder extra tekst op te leveren. Compressieartefacten, onscherpte, scheefstand, handschrift en onjuiste taalmodellen kunnen bij een hoge DPI de beperkende factoren blijven.
De optimalisatie van OCR-afbeeldingen in OCRmyPDF beschrijft optimalisatiefasen waarin paginabeelden na herkenning opnieuw kunnen worden gecomprimeerd of getransformeerd. Dit laat zien waarom de PDF-grootte na OCR afhangt van beeldcodering en optimalisatiebeleid, en niet alleen van de scanresolutie die bij het importeren is gebruikt.
De fout ontstaat wanneer men ervan uitgaat dat groei van de index betere OCR bewijst. Een index kan groeien doordat nuttige tekst is teruggewonnen, overlappende segmenten zijn gedupliceerd, grotere afbeeldingen zijn behouden of ruis is geproduceerd; alleen herkenningstests met een referentie en retrievaltests kunnen deze oorzaken onderscheiden.
Veelgestelde vragen over OCR-resolutie en indexopslag
Is 600 DPI voor RAG altijd beter dan 300 DPI?
Nee. 600 DPI kan helpen bij zeer kleine tekst of gedetailleerde formulieren, maar voegt vaak verwerkings- en beeldopslag toe nadat gewone gedrukte tekst al voldoende is opgelost. Test de tekenherkenning en retrieval in plaats van standaard de hoogste scannerinstelling te kiezen.
Worden embeddings groter wanneer de scan-DPI toeneemt?
De vectordimensie blijft doorgaans gelijk voor een bepaald embeddingmodel. De index groeit alleen als OCR met hogere resolutie meer segmenten, meer metadata, extra regio-embeddings of behouden beeldafleidingen oplevert. Dit effect moet meetbaar blijven onder de beoogde belasting van de homeserver.
Kan OCR met een lage resolutie een index groter maken?
Ja. Onleesbare tekenreeksen kunnen in veel fragmenten worden opgesplitst en ruisachtige segmenten creëren. Een kleinere bronafbeelding kan daardoor meer teksttokens opleveren dan een schone scan, terwijl retrieval en citaten slechter worden. Dat onderscheid is belangrijk wanneer verschillende pipelinestappen dezelfde opslag- en geheugencapaciteit delen.
Meet opslag per pipelinelaag
Selecteer pagina's met normale tekst, kleine tekst, tabellen, handschrift en scans met kwaliteitsverlies. Verwerk ze bij verschillende effectieve resoluties terwijl OCR-model, taal, segmentering, embeddingdimensie en bewaarbeleid gelijk blijven, en registreer vervolgens tekenherkenning, aantal tokens, aantal segmenten, vectorbytes, metadatabytes, afleidingen, tijdelijke pieken en retrievalkwaliteit.
Gebruik de controles voor leesvolgorde in controles voor leesvolgorde wanneer tabellen of formulieren aanwezig zijn. Wijs elke byte toe aan bronafbeeldingen, OCR-uitvoer, segmenten, vectoren of miniaturen, zodat een grotere map niet ten onrechte wordt gerapporteerd als groei van de vectorindex.
Kies voor elke documentklasse de laagste resolutie die aan de doelen voor herkenning en citaten voldoet. Bewaar bronnen met hoge resolutie alleen wanneer latere herverwerking ze nodig heeft, en verwijder ruisachtige OCR of overbodige afleidingen voordat je concludeert dat meer pixels de kennisbank verbeteren.
Aanbevolen producten
Tech & AI HUB
Meer om te lezen
Kan een lokale LLM de generatie hervatten nadat het proces opnieuw is gestart?
Een mechanismegerichte uitleg van het hervatten van LLM-generatie, de afwegingen rond gedeelde resources, drie veelgestelde vragen over query-fan-out en een praktisch verificatieprotocol.
Kan een homeserver embeddings genereren en video transcoderen op dezelfde geïntegreerde GPU?
Een uitleg waarin het mechanisme centraal staat van gedeelde iGPU-embeddings en transcodering, de afwegingen rond gedeelde resources, drie veelgestelde vragen over query-fan-out en een...
Welke invloed heeft de levensduur van toegangstokens op de beveiliging en het gedoe in het huishouden?
Een mechanismegerichte uitleg van de levensduur van toegangstokens, de afwegingen rond gedeelde resources, drie veelgestelde vragen over query-fan-out en een praktisch verificatieprotocol.
