Jak analiza układu OCR rekonstruuje tabele i kolejność czytania w układzie wielokolumnowym?

Analiza układu OCR rekonstruuje złożone strony, łącząc rozpoznane słowa z geometrią, typami regionów, relacjami w tabelach i wywnioskowaną sekwencją kolejności czytania.

Zeskanowany wyciąg bankowy, faktura, harmonogram urządzenia, formularz szkolny, strona czasopisma czy instrukcja techniczna to nie tylko zbiór słów. Znaczenie zależy od tego, gdzie pojawia się dany token, do którego nagłówka należy akapit, który nagłówek opisuje wartość w tabeli oraz którą kolumnę należy odczytać w następnej kolejności. OCR znaków dostarcza tekst i współrzędne, a analiza układu dodaje warstwę strukturalną, która przekształca te wykrycia w dokument, którego spójność może zachować potok wyszukiwania lub RAG.

OCR najpierw tworzy elementy tekstowe zakotwiczone w geometrii strony

Rekonstrukcja rozpoczyna się od wykryć na poziomie strony, takich jak słowa, wiersze, fragmenty tekstu, wielokąty ograniczające, wartości pewności i orientacja. Geometria zachowuje informacje, które w przeciwnym razie zostałyby utracone w zwykłym tekście.

elementy strony z fragmentami tekstu i pozycjami zachowują rozpoznany tekst wraz z lokalną geometrią strony, dostarczając kolejnym etapom analizy układu informacji potrzebnych do grupowania wierszy, regionów i lokalizacji źródłowych.

Słowo w punkcie x=800 nie jest z natury „późniejsze” od słowa w punkcie x=100. Na stronie dwukolumnowej ich relacja geometryczna może wskazywać na oddzielne strumienie odczytu, a nie na jedno zdanie czytane od lewej do prawej. Warstwa współrzędnych pełni więc funkcję surowych informacji przestrzennych do grupowania, lecz sama geometria nie wystarcza do określenia ról semantycznych, takich jak nagłówek, podpis, nagłówek tabeli czy stopka.

Modele układu klasyfikują regiony przed spłaszczeniem strony

Analizator układu wykrywa większe regiony, takie jak akapity, tytuły, nagłówki, tabele, ilustracje, listy, nagłówki stron i stopki. Każdy region zawiera zarówno treść, jak i lokalizację na stronie.

Klasyfikowanie ról geometrycznych i logicznych oddziela regiony fizyczne, takie jak tabele i ilustracje, od ról semantycznych, takich jak tytuły, nagłówki i stopki, zanim strona zostanie spłaszczona.

Ten etap związany z regionami zapobiega traktowaniu numeru strony, notatki na marginesie, podpisu i głównego akapitu jako równoważnych wierszy w jednym płaskim strumieniu.

Tworzy także kontenery, które dalsza logika dotycząca tabel i kolejności czytania może ze sobą łączyć, zamiast niezależnie rozwiązywać relacje między każdym pojedynczym słowem.

Rekonstrukcja tabel dodaje wiersze, kolumny, komórki i zakresy wokół tekstu OCR

Rozpoznanie „$128.50” nie wskazuje, czy jest to suma częściowa, udział własny, opłata miesięczna czy wartość z innej kolumny. Analizator musi wywnioskować, do której komórki należy token, oraz określić otaczające go relacje w siatce.

Odtworzenie struktury tabel i relacji kontekstowych przekształca tokeny OCR w wiersze, kolumny, komórki, nagłówki i obiekty uwzględniające sekcje, które mogą zachować znaczenie po zindeksowaniu.

Granice komórek mogą wynikać z widocznych linii tabeli, odstępów, wzorców wyrównania, wyuczonych cech wizualnych lub połączenia tych sygnałów. Powstała struktura zapisuje przynależność do wierszy i kolumn, a także może zachowywać komórki scalone lub role nagłówków.

Lokalny potok RAG może następnie serializować tabelę jako uporządkowane wiersze, Markdown, HTML, pary klucz-wartość lub fragmenty uwzględniające tabele, zachowując jednocześnie współrzędne do weryfikacji źródła.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Kolejność czytania jest wywnioskowywana jako relacja między regionami

Po wykryciu regionów system nadal musi określić, który element następuje po którym. Proste sortowanie od góry do dołu zawodzi w przypadku dwóch kolumn, paneli bocznych, zawijanych podpisów oraz tekstu opływającego ilustracje.

Modelowanie kolejności czytania jako problemu grafowego umożliwia ocenę potencjalnych przejść między wierszami tekstu lub regionami, zanim dla złożonych układów wielokolumnowych zostanie wybrana globalna sekwencja.

Komercyjne systemy analizy układu mogą korzystać z różnych modeli, lecz zadanie koncepcyjne pozostaje takie samo: określić relacje następstwa na podstawie geometrii, tekstu, klasy regionu i wyuczonych wzorców układu. Wynik powinien umożliwiać dokończenie akapitu w lewej kolumnie przed przejściem na początek prawej kolumny, a jednocześnie zachować pobliski podpis przy jego ilustracji, zamiast wstawiać go do tekstu głównego.

Hierarchia łączy nagłówki, akapity, tabele i ilustracje w sekcje

Kolejność czytania zapewnia sekwencję, lecz wyszukiwanie korzysta również z hierarchii. Akapit pod nagłówkiem „Wyjątki od gwarancji” powinien pozostać powiązany z tym nagłówkiem, nawet jeśli sam nagłówek znajduje się kilka wierszy nad pobranym fragmentem.

drzewo układu dokumentu zachowuje hierarchię nadrzędny–podrzędny, dzięki czemu fragment akapitu lub tabeli może zachować kontekst nagłówka definiującego jego rolę w oryginalnym dokumencie.

Jest to szczególnie przydatne w prywatnym RAG, ponieważ pobrany wiersz tabeli może być niejednoznaczny bez tytułu sekcji lub nagłówków kolumn, które nadają mu znaczenie.

Dzielenie na fragmenty uwzględniające strukturę może więc odbywać się po rekonstrukcji, zamiast zmuszać mechanizm dzielenia do ponownego odkrywania relacji na stronie na podstawie spłaszczonego tekstu OCR.

Ustrukturyzowany wynik zachowuje pochodzenie danych na potrzeby wyszukiwania i weryfikacji

Solidny parser powinien zachowywać mapowanie między zrekonstruowanymi elementami a numerami stron i współrzędnymi źródłowymi. Dzięki temu interfejs wyszukiwania może wyświetlić oryginalną tabelę lub akapit, zamiast traktować wygenerowaną strukturę jako nowy dokument bez możliwości prześledzenia pochodzenia.

Naprawa utraconych relacji tabel w OCR wymaga dodania powiązań między wierszami, kolumnami, nagłówkami i zakresami, zanim wyodrębniona treść zostanie przekształcona w zwykłe fragmenty wyszukiwania.

W przypadku rachunku domowego pochodzenie danych może połączyć pobraną kwotę z jej komórką tabeli, etykietą wiersza, nagłówkiem kolumny, stroną i prostokątem ograniczającym. W przypadku wielokolumnowej instrukcji może zachować dokładną sekwencję akapitów. Dzięki temu analiza układu staje się czymś więcej niż kosmetycznym formatowaniem. Określa, która jednostka informacji zostanie później oceniona przez indeks wektorowy lub słownikowy oraz który region źródłowy może wyświetlić cytowanie.

Analiza układu nie może niezawodnie odtworzyć informacji, których OCR nigdy nie przechwycił

Modele strukturalne zależą od użytecznych sygnałów wizualnych i tekstowych. Silne rozmycie, przycięte krawędzie, pismo odręczne, przekrzywienie, nachodzące na siebie pieczęcie, uszkodzone skany lub nieprawidłowe rozpoznanie znaków mogą usunąć informacje potrzebne do zidentyfikowania komórki lub relacji.

Wspólne modelowanie wykrywania układu i kolejności czytania pomaga połączyć rozpoznawanie regionów z sekwencją, w której regiony te powinny być odczytywane podczas rekonstrukcji całego dokumentu.

Rozróżnianie niespójnego OCR na zeskanowanych stronach od błędów kolejności układu zapobiega obwinianiu rekonstrukcji strukturalnej za sytuacje, w których podstawowe znaki zostały nieprawidłowo rozpoznane.

Oceń oba aspekty. Przed użyciem zrekonstruowanego wyniku jako źródła dla prywatnego systemu wyszukiwania lub RAG sprawdź dokładność tekstu, przynależność do komórek tabeli, powiązania z nagłówkami, hierarchię sekcji, kolejność czytania i możliwość prześledzenia współrzędnych.