Czym jest dopasowanie zakresu cytowania i dlaczego ma znaczenie dla dowodów w systemach RAG?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

What Is Citation Span Alignment, and Why Does It Matter for RAG Evidence? - Zima Store Online

Wyrównanie zakresów cytatów łączy każde weryfikowalne twierdzenie odpowiedzi z konkretnymi słowami źródłowymi, które je potwierdzają, zamiast jedynie wskazywać odpowiedni dokument.

Odpowiedź domowego systemu RAG może cytować właściwą instrukcję urządzenia, a jednocześnie wskazywać stronę, która wspomina o modelu, lecz nie potwierdza podanego napięcia ani wyjątku. Wyrównanie dzieli odpowiedź na atomowe twierdzenia, identyfikuje najmniejszy wystarczający zakres źródłowy oraz zachowuje współrzędne strony lub układu. Dzięki temu dowody można sprawdzić, a częściowe potwierdzenie, które ukryłaby ocena trafności na poziomie dokumentu, staje się widoczne.

Wyrównanie łączy atomowe twierdzenie z wystarczającym fragmentem

Zakres twierdzenia powinien zawierać jedno stwierdzenie, które można zweryfikować. Zakres dowodu musi obejmować stwierdzenie, kwalifikator, jednostkę, przedmiot i warunek potrzebne do wynikania tego twierdzenia bez polegania na niezwiązanym tekście znajdującym się gdzie indziej we fragmencie.

Ekstrakcję cytatów opisuje się jako mapowanie twierdzenia na źródło, a nie dołączanie odnośnika źródłowego do całej odpowiedzi. Mapowanie pozwala interfejsowi wyróżnić dokładnie te słowa, które potwierdzają dane wygenerowane stwierdzenie. Różnica ta pozostaje widoczna podczas późniejszych testów domowych.

Najmniejszy zakres nie zawsze obejmuje jedno zdanie. Tabele mogą wymagać wiersza wraz z nagłówkiem, zaimki mogą wymagać wcześniejszego zdania, a układ OCR może wymagać ograniczonego obszaru strony zamiast zwykłego przesunięcia w tekście.

Trafność, poprawność i pokrycie mierzą różne rzeczy

Pobrany dokument może być trafny tematycznie, a jednocześnie nie potwierdzać końcowego twierdzenia. Poprawność cytatu sprawdza, czy dołączony fragment potwierdza twierdzenie, natomiast pokrycie sprawdza, czy każde twierdzenie faktyczne ma odpowiednie dowody. Wynik pośredni musi pozostać możliwy do sprawdzenia, zanim automatyzacja pójdzie dalej.

Badania nad przypisywaniem źródeł wskazują na różnicę między działającymi, trafnymi odnośnikami a poprawnością cytatów faktycznych. Pokazuje to, dlaczego poprawność adresu URL i trafność tematyczna nie mogą zastąpić oceny poparcia na poziomie twierdzenia. Tę granicę należy mierzyć osobno w realistycznych warunkach działania.

Wierność jest jeszcze bardziej rygorystyczna: fragment może potwierdzać twierdzenie, nawet jeśli model wygenerował je z pamięci, a źródło dołączył dopiero później. Wyrównanie umożliwia sprawdzenie poparcia, lecz nie dowodzi przyczynowego wykorzystania dowodów.

Dzielenie na fragmenty i generowanie mogą zaburzyć relację między zakresami

Fragment może rozdzielić warunek od liczby, spłaszczyć nagłówki tabeli albo połączyć wiele wersji. Generator może również połączyć dwa fragmenty w jedno twierdzenie, wzmocnić ostrożne sformułowanie lub dołączyć jeden cytat po kilku zdaniach.

Badanie dotyczące wierności cytatów odróżnia pozorną poprawność cytatu od wiernego wykorzystania pobranych dowodów. Jego analiza potwierdza, że twierdzenia odpowiedzi i zakresy źródłowe wymagają jawnych, szczegółowych powiązań. Praktyczne znaczenie staje się widoczne, gdy wiele źródeł konkuruje o ograniczony kontekst.

Granica niepowodzenia pojawia się wtedy, gdy wymagany dowód twierdzenia jest nieobecny, sprzeczny lub rozproszony poza zakresem obsługiwanym przez daną metodę wyrównania. System powinien ponownie wykonać wyszukiwanie, podzielić lub osłabić twierdzenie albo wstrzymać się od odpowiedzi, zamiast wskazywać tekst jedynie najbliższy tematycznie.

Featured

ZimaCube 2 Osobisty domowy NAS w chmurze

ZimaCube2

Audytuj twierdzenia i zakresy jako osobne obiekty

Pobieraj przykładowe odpowiedzi z prozy, skanów OCR, tabel i sprzecznych wersji dokumentów. Dziel je na atomowe twierdzenia, zapisuj wersję źródła i współrzędne strony, wyróżniaj minimalny wystarczający zakres oraz oznaczaj poparcie, sprzeczność lub neutralność. Ta zależność powinna pozostać jawna w końcowym interfejsie.

Porównaj wyniki z poprawnością cytatów. Oblicz precyzję cytatów, pokrycie twierdzeń, poprawność wersji, rozwiązywalność i zgodność ocen ludzi; osobno przeanalizuj liczby, negacje i warunki. Wynik należy zatem sprawdzić względem oryginalnych dowodów.

Zaakceptuj wynik tylko wtedy, gdy każdy wyświetlany cytat otwiera możliwy do sprawdzenia zakres, z którego wynika powiązane twierdzenie. Trafny dokument bez wystarczających słów oznacza nieudany cytat, a nie częściowy sukces. Różnica ta pozostaje widoczna podczas późniejszych testów domowych.