Wie rekonstruiert die OCR-Layoutanalyse Tabellen und die Lesereihenfolge mehrspaltiger Dokumente?
Die OCR-Layoutanalyse rekonstruiert komplexe Seiten, indem sie erkannte Wörter mit Geometrie, Regionstypen, Tabellenbeziehungen und einer abgeleiteten Lesereihenfolge kombiniert.
Ein gescannter Kontoauszug, eine Rechnung, ein Geräteplan, ein Schulformular, eine Magazinseite oder ein technisches Handbuch ist nicht einfach nur eine Ansammlung von Wörtern. Die Bedeutung hängt davon ab, wo ein Token erscheint, welche Überschrift zu einem Absatz gehört, welche Kopfzeile einen Tabellenwert bezeichnet und welche Spalte als Nächstes gelesen werden sollte. Die Zeichen-OCR liefert Text und Koordinaten; die Layoutanalyse ergänzt die strukturelle Ebene, die diese Erkennungen in ein Dokument umwandelt, dessen Zusammenhang eine Such- oder RAG-Pipeline bewahren kann.
OCR erzeugt zunächst an die Seitengemetrie gebundene Textelemente
Die Rekonstruktion beginnt mit seitenspezifischen Erkennungen wie Wörtern, Zeilen, Textabschnitten, Begrenzungspolygonen, Konfidenzwerten und Ausrichtung. Die Geometrie bewahrt Informationen, die bei reinem Text sonst verloren gingen.
Seitenelemente mit Textabschnitten und Positionen bewahren den erkannten Text zusammen mit der seitenbezogenen Geometrie und liefern den nachgelagerten Layoutphasen Anhaltspunkte für die Gruppierung von Zeilen, Regionen und Ursprungspositionen.
Ein Wort bei x=800 steht nicht automatisch „nach“ einem Wort bei x=100. Auf einer zweispaltigen Seite kann ihre geometrische Beziehung auf getrennte Leseströme hindeuten und nicht auf einen einzigen Satz von links nach rechts. Die Koordinatenebene dient daher als räumliche Grundlage für die Gruppierung. Die Geometrie allein reicht jedoch nicht aus, um semantische Rollen wie Überschrift, Bildunterschrift, Tabellenkopf oder Fußzeile zu bestimmen.
Layoutmodelle klassifizieren Regionen, bevor die Seite abgeflacht wird
Ein Layoutanalysator erkennt größere Regionen wie Absätze, Titel, Überschriften, Tabellen, Abbildungen, Listen, Kopfzeilen und Fußzeilen. Jede Region enthält sowohl Inhalt als auch eine Seitenposition.
Die Klassifizierung geometrischer und logischer Rollen trennt physische Regionen wie Tabellen und Abbildungen von semantischen Rollen wie Titeln, Überschriften und Fußzeilen, bevor die Seite abgeflacht wird.
Dieser Regionenschritt verhindert, dass eine Seitenzahl, eine Randnotiz, eine Bildunterschrift und ein Hauptabsatz als gleichwertige Zeilen in einem einzigen flachen Datenstrom behandelt werden.
Außerdem werden Container erstellt, die nachgelagerte Tabellen- und Lesereihenfolgelogik miteinander verknüpfen kann, anstatt die Beziehungen zwischen jedem einzelnen Wort unabhängig voneinander lösen zu müssen.
Die Tabellenrekonstruktion ergänzt OCR-Text um Zeilen, Spalten, Zellen und Zellverbünde
Die Erkennung von „$128.50“ zeigt nicht, ob es sich um eine Zwischensumme, einen Selbstbehalt, eine monatliche Gebühr oder einen Wert aus einer anderen Spalte handelt. Der Analysator muss die Zelle bestimmen, zu der das Token gehört, und die umgebenden Gitterbeziehungen ableiten.
Die Wiederherstellung von Tabellenstruktur und kontextbezogenen Beziehungen verwandelt OCR-Token in Zeilen, Spalten, Zellen, Kopfzeilen und abschnittsbezogene Objekte, die auch nach der Indexierung ihre Bedeutung behalten können.
Zellgrenzen können aus sichtbaren Linien, Freiräumen, Ausrichtungsmustern, erlernten visuellen Merkmalen oder einer Kombination dieser Hinweise abgeleitet werden. Die resultierende Struktur erfasst die Zugehörigkeit zu Zeilen und Spalten und kann auch verbundene Zellen oder Kopfzeilenrollen bewahren.
Eine lokale RAG-Pipeline kann die Tabelle anschließend als strukturierte Zeilen, Markdown, HTML, Schlüssel-Wert-Paare oder tabellenbewusste Textabschnitte serialisieren und dabei die Koordinaten zur Überprüfung der Quelle beibehalten.
Die Lesereihenfolge wird als Beziehung zwischen Regionen abgeleitet
Nachdem die Regionen erkannt wurden, muss das System weiterhin bestimmen, welches Element auf welches folgt. Eine einfache Sortierung von oben nach unten scheitert bei zwei Spalten, Seitenleisten, umgebrochenen Bildunterschriften und Text, der um Abbildungen herumläuft.
Die Modellierung der Lesereihenfolge als Graphproblem ermöglicht es, mögliche Übergänge zwischen Textzeilen oder Regionen zu bewerten, bevor für komplexe mehrspaltige Layouts eine globale Reihenfolge ausgewählt wird.
Kommerzielle Layoutsysteme können unterschiedliche Modelle verwenden, die konzeptionelle Aufgabe ist jedoch dieselbe: Nachfolgerbeziehungen aus Geometrie, Text, Regionklasse und erlernten Layoutmustern zu bestimmen. Das Ergebnis sollte ermöglichen, dass ein Absatz in der linken Spalte beendet wird, bevor zum Anfang der rechten Spalte gewechselt wird, während eine nahe Bildunterschrift mit ihrer Abbildung verbunden bleibt, statt in den Fließtext eingefügt zu werden.
Die Hierarchie verbindet Überschriften, Absätze, Tabellen und Abbildungen zu Abschnitten
Die Lesereihenfolge liefert eine Sequenz, doch auch die Hierarchie ist für die Suche hilfreich. Ein Absatz unter „Garantieausnahmen“ sollte mit dieser Überschrift verbunden bleiben, selbst wenn die Überschrift mehrere Zeilen über dem abgerufenen Textabschnitt steht.
Ein Dokumentlayoutbaum bewahrt die Eltern-Kind-Hierarchie, sodass ein Absatz oder Tabellenabschnitt den Überschriftskontext behalten kann, der seine Rolle im ursprünglichen Dokument definiert.
Dies ist besonders für private RAG-Systeme nützlich, da eine abgerufene Tabellenzeile ohne den Abschnittstitel oder die Spaltenüberschriften, die sie definieren, mehrdeutig sein kann.
Strukturbewusstes Aufteilen in Textabschnitte kann daher nach der Rekonstruktion erfolgen, anstatt den Chunker zu zwingen, Seitenbeziehungen aus abgeflachtem OCR-Text erneut zu erschließen.
Strukturierte Ausgaben bewahren die Herkunft für Suche und Überprüfung
Ein robuster Parser sollte die Zuordnung der rekonstruierten Elemente zu Seitenzahlen und Quellkoordinaten beibehalten. So kann die Suchoberfläche die ursprüngliche Tabelle oder den ursprünglichen Absatz anzeigen, anstatt die erzeugte Struktur als nicht nachvollziehbares neues Dokument zu behandeln.
Die Wiederherstellung verlorener OCR-Tabellenbeziehungen erfordert, Zeilen-, Spalten-, Kopfzeilen- und Zellverbundzuordnungen hinzuzufügen, bevor der extrahierte Inhalt in gewöhnliche Suchabschnitte umgewandelt wird.
Bei einer Haushaltsrechnung kann die Herkunft einen abgerufenen Betrag mit seiner Tabellenzelle, Zeilenbezeichnung, Spaltenüberschrift, Seite und Begrenzungsbox verknüpfen. Bei einem mehrspaltigen Handbuch kann sie die genaue Absatzreihenfolge bewahren. Dadurch wird die Layoutanalyse zu mehr als einer kosmetischen Formatierung. Sie bestimmt, welche Informationseinheit der Vektor- oder Schlüsselwortindex später bewertet und welchen Quellbereich ein Zitat anzeigen kann.
Die Layoutanalyse kann Informationen nicht zuverlässig rekonstruieren, die von der OCR nie erfasst wurden
Strukturmodelle sind auf verwertbare visuelle und textuelle Signale angewiesen. Starke Unschärfe, abgeschnittene Ränder, Handschrift, Schieflage, überlappende Stempel, beschädigte Scans oder fehlerhafte Zeichenerkennung können die Informationen entfernen, die zur Identifizierung einer Zelle oder Beziehung erforderlich sind.
Die gemeinsame Modellierung von Layout-Erkennung und Lesereihenfolge hilft dabei, die Erkennung von Regionen mit der Reihenfolge zu verbinden, in der diese Regionen bei der Rekonstruktion vollständiger Dokumente gelesen werden sollten.
Die Unterscheidung zwischen uneinheitlicher OCR auf gescannten Seiten und Fehlern bei der Layoutreihenfolge verhindert, dass ein Parser die strukturelle Rekonstruktion verantwortlich macht, wenn die zugrunde liegenden Zeichen falsch erkannt wurden.
Bewerten Sie beides. Prüfen Sie Textgenauigkeit, Zugehörigkeit zu Tabellenzellen, Zuordnung von Kopfzeilen, Abschnittshierarchie, Lesereihenfolge und Rückverfolgbarkeit der Koordinaten, bevor die rekonstruierte Ausgabe zur Grundlage für eine private Such- oder RAG-Lösung wird.
Empfohlene Produkte
Tech- & KI-Zentrum
Mehr zum Lesen
Laufzeitstatus vs. dauerhafter Status in Home Assistant: Was muss einen Neustart überstehen?
Home Assistant speichert nicht jeden aktuellen Wert dauerhaft; Konfiguration, Register, ausgewählte wiederhergestellte Zustände, Verlauf und Bereitstellungsdaten erfüllen beim Neustart unterschiedliche Aufgaben.
Wie authentifiziert Home Assistant lokale und entfernte Sitzungen?
Lokale und Remote-Home-Assistant-Sitzungen verwenden dasselbe serverseitige Identitätsmodell. Der Fernzugriff ändert die Route und die TLS-Grenze, nicht den grundlegenden Token-Ablauf.
Warum können Home-Assistant-Verlaufsabfragen langsamer werden, wenn die Recorder-Daten wachsen?
Das Wachstum des Recorders kann die Kosten von Verlaufsabfragen erhöhen, wenn der angeforderte Zeitraum mehr Zeilen umfasst, Cache-Fehlversuche zunehmen oder die Verarbeitung von Speicher...
