Dlaczego lokalne odpowiedzi RAG wyglądają lepiej w przypadku dokumentów narracyjnych niż arkuszy kalkulacyjnych?
Lokalny RAG często lepiej odpowiada na pytania dotyczące dokumentów narracyjnych, ponieważ zwykłe dzielenie na fragmenty zachowuje kontekst prozy, ale narusza strukturę relacyjną, która nadaje znaczenie komórkom arkusza kalkulacyjnego.
Akapit polityki zawiera temat i doprecyzowania w sąsiednich zdaniach, podczas gdy „42” w skoroszycie może zależeć od etykiety wiersza, daty w kolumnie, jednostki, formuły i nazwy arkusza. Gdy serwer domowy przekształca oba typy danych w zwykłe fragmenty tekstu, narracja przechodzi tę transformację wierniej niż siatka oraz jej ukryte relacje między komórkami podczas generowania odpowiedzi opartej na źródłach.
Fragmenty narracyjne niosą własne sąsiedztwo semantyczne
Proza powtarza encje, czasowniki i zależności przyczynowe w sąsiednich zdaniach. Fragment o stałym rozmiarze zazwyczaj zachowuje wystarczająco dużo języka, aby embedding reprezentował temat, a generator mógł zinterpretować dowody. Nakładanie się fragmentów może zachować zdanie przebiegające przez granicę.
Podejście RAG oparte w pierwszej kolejności na tabelach wskazuje, że konwencjonalny RAG dobrze sprawdza się w przypadku tekstu narracyjnego, ale zawodzi, gdy kluczowe informacje znajdują się w tabelach i strukturach. Niezgodność zaczyna się jeszcze przed generowaniem — na etapie reprezentacji i wyszukiwania.
Jakość narracji może jednak wprowadzać w błąd: płynne fragmenty sprzyjają płynnym odpowiedziom, nawet gdy pobrano niewłaściwy fragment. Przewaga strukturalna polega na zachowaniu struktury, a nie na gwarancji poprawności faktograficznej odpowiedzi dotyczących prozy.
Znaczenie arkusza kalkulacyjnego tkwi we współrzędnych i operacjach
Znaczenie komórki wynika z relacji wzdłuż różnych osi. Spłaszczanie wiersz po wierszu może odłączyć nagłówki, scalone etykiety, formuły, ukryte arkusze lub jednostki. Embeddingi porównują wtedy odizolowane ciągi znaków zamiast operacji, o którą pyta użytkownik, takiej jak odfiltrowanie jednego kwartału i zsumowanie kategorii.
Badania nad topologią tabel jawnie modelują tekst i topologię tabel, ponieważ dokumenty hybrydowe zawierają połączenia, które zwykłe liniowe fragmenty tracą. Zachowanie sąsiedztwa i hierarchii zmienia zakres możliwych do odzyskania dowodów.
Nawet idealne wyszukiwanie może nie wystarczyć do rozwiązania pytania dotyczącego arkusza kalkulacyjnego. Generator musi wybrać komórki, respektować typy danych, wykonać działania arytmetyczne i podać współrzędne. Model językowy, który dobrze streszcza akapit, może mimo to zamienić kolumny miejscami lub obliczać na sformatowanym tekście wyświetlanym w komórkach.
Kiedy RAG narracyjny traci swoją przewagę
Przewaga narracji znika, gdy dokumenty zawierają gęste odwołania wzajemne, długie załączniki lub fakty oddzielone od ich definicji. Z kolei arkusze kalkulacyjne z wyraźnymi nagłówkami, uporządkowanymi wierszami i warstwą zapytań semantycznych mogą być łatwiejsze do przeszukiwania niż niejednoznaczna proza.
Przewodnik dotyczący oceny RAG dla danych tabelarycznych podkreśla, że należy przeprowadzać ocenę na podstawie pytań opartych na tabelach, a nie ogólnych metryk tekstowych. Odpowiedź należy sprawdzać względem dokładnych komórek i operacji.
Mechanizm zawodzi również wtedy, gdy potoki dla narracji i arkuszy kalkulacyjnych korzystają z innego OCR, modeli embeddingów lub uprawnień. W takim przypadku format jest powiązany z narzędziami zakłócającymi ocenę. „Lepszy wygląd” nie oznacza lepszego oparcia na źródłach; oba formaty wymagają weryfikacji na poziomie odpowiedzi.
Oceniaj wyszukiwanie i obliczenia jako osobne etapy
Utwórz pary pytań na podstawie jednego raportu narracyjnego i jednego uporządkowanego skoroszytu: pytania o wyszukiwanie wartości, porównanie, agregację i wyjątki. Zapisz wymagane fragmenty lub współrzędne komórek, a następnie przepuść oba zestawy przez ten sam model i przy tym samym budżecie wyszukiwania. Oceniaj osobno wyszukiwanie, obliczenia, cytowanie i końcową odpowiedź.
Użyj lokalnej bazy danych wektorowych, aby przechowywać wektory i pliki źródłowe lokalnie podczas testowania serializacji uwzględniającej tabele w porównaniu ze zwykłym tekstem wierszy. Nie zmieniaj temperatury modelu ani promptu.
Jeśli dowody z arkusza kalkulacyjnego zostaną pobrane, ale obliczenia się nie powiodą, dodaj ustrukturyzowany etap wykonywania. Jeśli nagłówki znikają przed wyszukiwaniem, popraw ekstrakcję i serializację. Jeśli odpowiedzi narracyjne tylko brzmią lepiej, ale zawierają odwołania do niewłaściwych fragmentów, dostosuj sposób oceny zamiast ogłaszać wyższość potoku prozatorskiego.
Polecane produkty
Centrum Technologii i Sztucznej Inteligencji
Więcej do przeczytania
Jak mierzyć jakość lokalnego wyszukiwania RAG oraz interpretować kompletność przywołań, precyzję i pokrycie cytowaniami
Zbuduj lokalny zestaw testowy RAG, oblicz podstawowe metryki wyszukiwania, zinterpretuj kompromisy między nimi i sprawdź, czy twierdzenia zawarte w odpowiedziach są poparte przytoczonymi dowodami.
Dlaczego obliczenia funkcji inteligentnego domu stają się ważniejsze wraz ze wzrostem liczby czujników przy tej samej częstotliwości próbkowania?
Śledź obliczenia dla poszczególnych czujników i między czujnikami wraz ze wzrostem liczby urządzeń, identyfikuj nieliniowe koszty fuzji danych i porównaj wydajność potoku cech, zanim...
Dlaczego koszt oceny RAG rośnie przy tej samej liczbie zapytań wraz z rozbudową biblioteki dokumentów?
Zrozum, dlaczego rozrost korpusu zwiększa nakład pracy na ocenę RAG bez zwiększania liczby zapytań użytkowników oraz jak testy warstwowe utrzymują koszty proporcjonalne do ryzyka.
