Wie beeinflusst die OCR-Auflösung die Größe des RAG-Index?
Die OCR-Auflösung beeinflusst die Größe des RAG-Index indirekt - durch Erkennungsausbeute, Rauschen, Layoutausgabe und gespeicherte Bilder statt allein durch die DPI.
Das Scannen eines Familienarchivs mit 600 DPI erzeugt bei gleichen Seitendimensionen viermal so viele Pixel wie mit 300 DPI, aber ein reiner Text-Vektorindex speichert diese Pixel nicht. Seine Größe hängt von den Zeichen, Layoutobjekten, Chunks, Metadaten und Embeddings ab, die nach der OCR ausgegeben werden. Eine höhere Auflösung kann mehr echten Text erfassen, während sehr schlechte Bilder auch verrauschte Tokens erzeugen können, die den Index vergrößern, ohne die Antworten zu verbessern.
Die Pixelanzahl wächst, bevor Text in den Index gelangt
Eine Verdopplung der linearen Auflösung vervierfacht die Bildpixel und erhöht den Aufwand für Dekodierung, Vorverarbeitung, temporäre Speicherung und OCR. Wenn die Pipeline Seitenbilder, Ausschnitte oder Miniaturansichten neben den Vektoren speichert, können diese Dateien den Speicherbedarf dominieren; ein reiner Textindex verwirft das Rasterbild nach der Extraktion größtenteils.
Die Hinweise zur Erkennungsqualität von Tesseract weisen darauf hin, dass die Erkennung im Allgemeinen von Bildern mit etwa 300 DPI profitiert und dass eine Skalierung bei Eingaben mit niedrigerer Auflösung hilfreich sein kann. Dies ist eine Empfehlung zur Erkennungsqualität und keine Vorgabe dafür, dass eine Embedding-Datenbank Pixel mit 300 DPI speichert.
Die Speichergrenze muss daher eindeutig definiert sein: Quelldateien, OCR-Derivate, Text-Chunks, Vektor-Payloads und Miniaturansichten sind separate Ebenen. Eine Änderung der DPI kann jede Ebene unterschiedlich beeinflussen, selbst wenn die endgültige Dokumentanzahl unverändert bleibt.
Die Erkennungsausbeute verändert die Anzahl von Tokens und Chunks
Ein klarerer Scan kann Fußnoten, kleine Beschriftungen, Tabellenzellen und Satzzeichen erfassen, die bei niedrigerer Auflösung fehlen. Mehr gültiger Text erhöht die Tokenanzahl und kann zusätzliche Chunks und Vektoren erzeugen. Umgekehrt können beschädigte Glyphen und wiederholter Datenmüll die Tokenanzahl erhöhen, weil Tokenizer verfälschte Zeichenfolgen ineffizient aufteilen.
Die Forschung zu OCR mit niedriger Auflösung untersucht die Erkennung aus Dokumenten mit extrem niedriger Auflösung und erklärt, warum Systeme, die für Text mit 300 DPI entwickelt wurden, sich nach Verkleinerung und Vergrößerung anders verhalten. Die Ergebnisse zeigen, dass Auflösung und Zeichengröße den extrahierten Inhalt beeinflussen und nicht nur die visuelle Dateigröße.
Layoutbewusste OCR kann Koordinaten, Lesereihenfolge, Konfidenzwerte und Tabellenstrukturen hinzufügen. Diese Payloads können umfangreicher sein als der reine Text. Daher können dieselben erkannten Wörter je nach Speicherung räumlicher Hinweise für Zitate zu unterschiedlich großen Indizes führen.
Eine höhere DPI bringt nichts mehr, sobald die Glyphendetails gesättigt sind
Sobald die Zeichenstriche für das OCR-Modell ausreichend gut aufgelöst sind, können zusätzliche Pixel den Rechenaufwand und die Größe abgeleiteter Bilder erhöhen, ohne weiteren Text hinzuzufügen. Kompressionsartefakte, Unschärfe, Schräglage, Handschrift und falsche Sprachmodelle können auch bei hoher DPI die begrenzenden Faktoren bleiben.
Die Bildoptimierung von OCRmyPDF beschreibt Optimierungsstufen, die Seitenbilder nach der Erkennung erneut komprimieren oder umwandeln können. Das verdeutlicht, warum die PDF-Größe nach der OCR von Bildkodierung und Optimierungsrichtlinie abhängt und nicht einfach von der beim Einlesen verwendeten Scanauflösung.
Die kritische Fehlannahme besteht darin, dass ein wachsender Index eine bessere OCR beweise. Ein Index kann wachsen, weil er nützlichen Text erfasst, überlappende Chunks dupliziert, größere Bilder speichert oder Rauschen erzeugt. Nur Tests mit Ground Truth für Erkennung und Retrieval können diese Ursachen unterscheiden.
FAQ zu OCR-Auflösung und Indexspeicher
Ist 600 DPI für RAG immer besser als 300 DPI?
Nein. 600 DPI kann bei sehr kleiner Schrift oder detaillierten Formularen hilfreich sein, verursacht aber häufig zusätzlichen Verarbeitungs- und Bildspeicherbedarf, obwohl gewöhnlicher gedruckter Text bereits ausreichend aufgelöst ist. Testen Sie die Zeichengenauigkeit und das Retrieval, statt standardmäßig die höchste Scannereinstellung zu wählen.
Werden Embeddings größer, wenn die Scan-DPI steigt?
Die Vektordimension bleibt bei einem bestimmten Embedding-Modell normalerweise unverändert. Der Index wächst nur, wenn die OCR mit höherer Auflösung mehr Chunks, mehr Metadaten, zusätzliche Bereichs-Embeddings oder gespeicherte Bildderivate erzeugt. Dieser Effekt sollte unter der vorgesehenen Home-Server-Arbeitslast messbar bleiben.
Kann OCR mit niedriger Auflösung einen Index vergrößern?
Ja. Unleserliche Zeichenfolgen können in viele Fragmente tokenisiert werden und verrauschte Chunks erzeugen. Ein kleineres Ausgangsbild kann daher mehr Texttokens als ein sauberer Scan hervorbringen und gleichzeitig schlechtere Ergebnisse beim Retrieval und bei Zitaten liefern. Dieser Unterschied ist wichtig, wenn mehrere Pipeline-Stufen dasselbe Speicher- und Speicherbudget nutzen.
Speicher nach Pipeline-Ebene messen
Wählen Sie Seiten mit normalem Text, kleiner Schrift, Tabellen, Handschrift und beschädigten Scans aus. Verarbeiten Sie sie mit mehreren effektiven Auflösungen, während OCR-Modell, Sprache, Chunking, Embedding-Dimension und Speicherrichtlinie konstant bleiben. Erfassen Sie anschließend Zeichengenauigkeit, Tokenanzahl, Chunk-Anzahl, Vektorbytes, Metadatenbytes, Derivate, temporäre Spitzenwerte und Retrieval-Qualität.
Verwenden Sie bei Tabellen oder Formularen die Prüfungen der Lesereihenfolge. Ordnen Sie jedes Byte den Quellbildern, der OCR-Ausgabe, den Chunks, Vektoren oder Miniaturansichten zu, damit ein größeres Verzeichnis nicht fälschlicherweise als Wachstum des Vektorindex gemeldet wird.
Wählen Sie für jede Dokumentklasse die niedrigste Auflösung, die Ihre Ziele für Erkennung und Zitierfähigkeit erfüllt. Speichern Sie hochauflösende Quellen nur dort, wo eine spätere erneute Verarbeitung sie benötigt, und entfernen Sie verrauschte OCR-Ausgaben oder redundante Derivate, bevor Sie zu dem Schluss kommen, dass mehr Pixel die Wissensbasis verbessern.
Empfohlene Produkte
Tech- & KI-Zentrum
Mehr zum Lesen
Kann ein lokales LLM die Generierung nach einem Neustart seines Prozesses fortsetzen?
Eine mechanismusorientierte Erklärung zum Fortsetzen der LLM-Generierung, zu den Zielkonflikten gemeinsamer Ressourcen, drei FAQs zur Abfrageverteilung und einem praktischen Verifizierungsprotokoll.
Kann ein Heimserver Embeddings und Videotranskodierung auf derselben integrierten GPU ausführen?
Eine mechanismusbasierte Erklärung gemeinsam genutzter iGPU-Einbettungen und der Transkodierung, ihrer Nachteile durch gemeinsam genutzte Ressourcen, drei FAQs zur Abfrageverteilung und eine praktische Überprüfung.
Wie wirkt sich die Lebensdauer von Zugriffstoken auf die Sicherheit und den Aufwand im Haushalt aus?
Eine mechanismusorientierte Erklärung der Lebensdauer von Zugriffstoken, der Zielkonflikte bei gemeinsam genutzten Ressourcen, drei FAQs zur Abfrageverteilung und eines praktischen Verifizierungsprotokolls.
