Jak maksymalna istotność marginalna ogranicza redundantne dowody w systemie RAG?

Maksymalna marginalna istotność zmniejsza redundancję dowodów RAG, wybierając fragmenty zarówno pod kątem trafności względem zapytania, jak i nowości w odniesieniu do już wybranych dowodów.

Prywatny domowy system RAG może pobrać kilka fragmentów z tego samego akapitu instrukcji, nakładającego się skanu, zduplikowanej notatki lub sąsiedniej sekcji, ponieważ wszystkie są bardzo podobne do zapytania. Czyste podobieństwo top-k traktuje takie niemal duplikaty jako niezależnie silne wyniki. MMR dodaje drugą zależność: każdy kolejny wynik nadal musi odpowiadać na zapytanie, ale jest też porównywany z fragmentami, które już znalazły się w zbiorze dowodów.

MMR rozpoczyna działanie po utworzeniu puli kandydatów przez mechanizm wyszukiwania

MMR zwykle nie przeszukuje od podstaw całej kolekcji wektorów. Najpierw szybki mechanizm wyszukiwania leksykalnego, wektorowego lub hybrydowego tworzy większy zbiór kandydatów, których warto rozważyć.

Cel maksymalnej marginalnej istotności równoważy trafność względem zapytania z redundancją wobec już wybranych elementów, dzięki czemu ranking zależy od zmieniającego się zbioru wyników, a nie od izolowanych ocen kandydatów.

Jeśli początkowa pula nigdy nie zawiera właściwego fragmentu, MMR nie może go wymyślić. Głębokość puli kandydatów nadal wyznacza granicę kompletności: szersza pula daje etapowi różnicowania więcej możliwości, natomiast nadmiernie szeroka dodaje słaby materiał, który później trzeba odrzucić.

Każdy wybór równoważy dopasowanie do zapytania z podobieństwem do wybranych dowodów

Pierwszy wybrany fragment jest zwykle oceniany głównie na podstawie trafności, ponieważ wcześniej nie wybrano jeszcze żadnego elementu. Później każdy pozostały kandydat podlega dwóm naciskom: jak dobrze pasuje do zapytania oraz jak bardzo przypomina już wybrane dowody.

W iteracyjnym procesie wyboru każdy zaakceptowany fragment zmienia karę za redundancję stosowaną wobec pozostałych kandydatów, dlatego kolejny wybór zależy zarówno od dopasowania do zapytania, jak i od tego, co już znajduje się w kontekście.

Zmienia to zadanie rankingowe z niezależnego oceniania na konstruowanie zbioru. Fragment może uzyskać doskonałą ocenę zapytania, a mimo to spaść w rankingu, gdy powtarza ten sam fakt co pierwszy wynik.

W przypadku domowego archiwum może to oznaczać wybór jednego akapitu opisującego zasady tworzenia kopii zapasowych, innego wymieniającego wyjątek dotyczący przechowywania oraz trzeciego z procedury przywracania, zamiast zwracania trzech nakładających się kopii akapitu o zasadach.

Waga różnorodności określa, jak agresywnie obniżana jest pozycja niemal duplikatów

MMR potrzebuje parametru kompromisu, ponieważ trafność i nowość mogą być ze sobą sprzeczne. Ustawienie bliższe końcowi preferującemu trafność działa bardziej jak zwykły ranking top-k, podczas gdy ustawienie preferujące różnorodność chętniej poświęca część bezpośredniego podobieństwa na rzecz innych dowodów.

Regulowany kompromis między trafnością a różnorodnością określa, jak łatwo selektor rezygnuje z części bezpośredniego podobieństwa w zamian za dowody wnoszące inne informacje.

Właściwe ustawienie zależy od pytania. Zapytanie o jeden konkretny numer seryjny korzysta z dominacji trafności, natomiast pytanie o przyczynę niepowodzenia kopii zapasowej domowego serwera może wymagać niezależnych dowodów z logów, konfiguracji, stanu pamięci masowej i historii harmonogramu.

Zbyt duża różnorodność może obniżyć pozycję drugiego fragmentu, który rzeczywiście wzmacnia lub uściśla pierwszy, dlatego celem nie jest maksymalna różnica. Chodzi o wystarczającą różnorodność, aby przeznaczyć ograniczony kontekst na dodatkowe informacje.

Featured

ZimaCube 2 Osobisty domowy NAS w chmurze

ZimaCube2

$799.00 - $2,499.00

Buy Now

MMR działa najlepiej, gdy zduplikowane fragmenty nadal dostarczają znaczących sygnałów podobieństwa

Nakładające się fragmenty, skopiowane pliki, powtarzające się nagłówki i dokumenty w różnych wersjach mogą tworzyć kandydatów niemal identycznych semantycznie. Są to korzystne warunki dla MMR, ponieważ redundancja jest bezpośrednio widoczna w podobieństwie między kandydatami.

Różnicowanie oparte na MMR może ponownie uporządkować istniejący zbiór kandydatów bez konieczności fizycznego usuwania każdego niemal duplikatu z indeksu wektorowego.

Jednak dwa fragmenty mogą powtarzać ten sam fakt, używając innego słownictwa lub formatu. Wiersz tabeli i zdanie opisowe mogą być dla człowieka redundantne, choć ich podobieństwo wektorowe jest tylko umiarkowane. Dlatego MMR uzupełnia deduplikację uwzględniającą źródło, a nie ją zastępuje. Identyfikatory dokumentów, metadane wersji, grupowanie nadrzędne i śledzenie nakładania się fragmentów mogą usuwać duplikaty strukturalne przed zastosowaniem różnorodności semantycznej.

Bardziej zróżnicowane dowody zapewniają modelowi generującemu lepsze wykorzystanie budżetu kontekstu

Lokalne modele odpowiadające mają ograniczony kontekst i ograniczoną uwagę. Wypełnienie sześciu miejsc wyszukiwania niemal identycznymi fragmentami marnuje tokeny, nie zwiększając liczby niezależnie użytecznych faktów, które model może przeanalizować.

Ponieważ jednostki dowodowe RAG są ustalane podczas pozyskiwania danych, MMR może różnicować tylko te fragmenty, które parser i mechanizm dzielenia faktycznie udostępniły do wyszukiwania.

Bardziej zróżnicowany zestaw może ujawnić wyjątek, drugi dokument, nowszą wersję lub tabelę pomocniczą, którą zwykły ranking podobieństwa umieścił niżej, pod powtarzającymi się fragmentami.

Model generujący nadal potrzebuje informacji o pochodzeniu oraz dyscypliny w zakresie cytowania. Różnorodność sprawia, że zbiór dowodów jest mniej powtarzalny, ale nie dowodzi, że każdy wybrany fragment jest poprawny, aktualny lub miarodajny.

MMR nie naprawi brakujących, nieaktualnych ani źle sparsowanych dowodów

MMR działa na otrzymanej reprezentacji. Jeśli OCR spłaszczył tabelę, dzielenie fragmentów oddzieliło zastrzeżenie, filtr metadanych wykluczył aktualny plik lub model osadzania nie zdołał odpowiednio przedstawić zapytania, etap różnicowania nie ma wiarygodnych dowodów, które mógłby wypromować.

Zastosowanie wyszukiwania z maksymalną marginalną istotnością zmienia to, którzy dostępni kandydaci trafiają do końcowego zbioru, ale nie naprawia błędów ekstrakcji ani nie tworzy brakujących dowodów.

Oceniaj tę metodę za pomocą metryk wyszukiwania obejmujących współczynnik duplikatów i pokrycie dowodów, a nie tylko trafność top-1. Przydatny zestaw testowy powinien zawierać nakładające się fragmenty, powtarzające się wersje oraz pytania, na które odpowiedź wymaga więcej niż jednego niezależnego fragmentu.

MMR odnosi sukces, gdy końcowy kontekst zachowuje najsilniejsze trafne dowody, a jednocześnie zastępuje redundantne miejsca fragmentami, które dostarczają naprawdę nowego wsparcia.