Jak cross-enkoder ocenia pary zapytanie–fragment w domowej wyszukiwarce AI?

Kross-enkoder ocenia wyniki wyszukiwania domowej sztucznej inteligencji, odczytując jednocześnie każde zapytanie i kandydujący fragment, aby na podstawie interakcji między ich tokenami określić trafność.

To węższe pojęcie niż ogólne ponowne rankingowanie. Serwer domowy nadal potrzebuje szybkiego retrievera pierwszego etapu, który przeszuka tysiące notatek, plików PDF, fragmentów OCR, instrukcji i rekordów metadanych. Kross-enkoder uruchamia się dopiero po wygenerowaniu przez ten etap możliwej do obsłużenia krótkiej listy. Jego charakterystycznym mechanizmem jest wspólne kodowanie: słowa zapytania i fragmentu trafiają do jednego wejścia modelu, dzięki czemu model oceniający może dostrzec zależności, które wektory kodowane osobno mogą zacierać.

Szybkie wyszukiwanie i kross-enkodowanie rozwiązują różne problemy na ścieżce wyszukiwania

Gęste bi-enkodery przygotowują osadzenia dokumentów z wyprzedzeniem, dzięki czemu nowe zapytanie można zakodować raz i sprawnie porównać z dużym indeksem. To sprawia, że nadają się do wyszukiwania kandydatów w pierwszym etapie.

osobne osadzenia zdań umożliwiają praktyczne wyszukiwanie podobieństwa w dużej skali w pierwszym etapie, ponieważ reprezentacje dokumentów można obliczyć przed nadejściem zapytania i ponownie wykorzystywać przy wielu żądaniach.

Kross-enkoder rezygnuje z takiej wielokrotnego użytku reprezentacji dokumentu. Dla każdego kandydata zapytanie i fragment muszą zostać ponownie przetworzone razem, co jest zbyt kosztowne, aby przy każdym pytaniu skanować całą prywatną kolekcję.

Oba etapy tworzą więc lejek: niedrogie wyszukiwanie chroni kompletność wyników w całym korpusie, a następnie kosztowne ocenianie par zużywa moc obliczeniową tylko tam, gdzie trafniejsza decyzja o relewancji może zmienić końcową kolejność.

Tokeny zapytania i fragmentu trafiają do jednej wspólnej sekwencji

Kross-enkoder otrzymuje zapytanie i jeden kandydujący fragment jako pojedyncze sparowane wejście, zwykle rozdzielone specjalnymi tokenami właściwymi dla modelu. Mechanizm uwagi może wtedy łączyć terminy z obu części pary.

para CrossEncoder umieszcza zapytanie i jeden kandydujący fragment we wspólnym wejściu modelu, umożliwiając interakcje między tokenami obu tekstów przed wygenerowaniem wyniku trafności.

Taka wspólna ścieżka może zauważyć, że „data odnowienia” w zapytaniu znajduje odpowiedź w postaci „polisa wygasa dnia” we fragmencie albo że dokładny numer modelu pojawia się w zdaniu, którego dalsza część przeczy żądanemu warunkowi.

Ponieważ model widzi całą parę, długość fragmentu ma znaczenie. Długie fragmenty zużywają więcej tokenów, zwiększają obciążenie obliczeniowe i mogą rozmywać lokalną interakcję wokół zdania, które faktycznie odpowiada na pytanie.

Wynikiem jest nowy wynik trafności, a nie nowy wektor dokumentu

Po przetworzeniu jednej pary zapytanie–fragment kross-enkoder emituje wynik wskazujący, jak dobrze dany fragment spełnia zapytanie zgodnie z wyuczoną przez model funkcją trafności.

wyniki trafności CrossEncoder są obliczane dla dostarczonych par zapytanie–fragment, a następnie mogą zastąpić kolejność kandydatów ustaloną w pierwszym etapie.

Wyniki te zależą od zapytania. Zwykle nie są przechowywane jako osadzenia do ponownego wykorzystania, ponieważ zmiana zapytania zmienia parę, a tym samym całe obliczenie.

Dlatego kross-enkoder może zdecydowanie przestawić kolejność dwóch kandydatów, których podobieństwo oparte na gęstych wektorach było niemal identyczne: w drugim etapie rozwiązuje on inny problem oceniania.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Liczba kandydatów wyznacza granicę kompletności wyników, zanim rozpocznie się wspólne ocenianie

Kross-enkoder może przesunąć dobry fragment z pozycji 30 na pozycję 1, ale tylko wtedy, gdy pozycja 30 znalazła się na otrzymanej przez niego krótkiej liście. Dowody spoza tego zakresu są dla drugiego etapu niewidoczne.

Jako model rankingowy drugiego etapu kross-enkoder działa na kandydatach znalezionych wcześniej przez inny retriever, zamiast bezpośrednio przeszukiwać cały prywatny korpus.

Większa lista kandydatów zwiększa szansę, że właściwy prywatny fragment przetrwa pierwszy etap, ale jednocześnie zwielokrotnia pracę związaną z wnioskowaniem dla poszczególnych par. Serwer domowy o umiarkowanych zasobach CPU lub GPU musi więc wybrać budżet kandydatów, który chroni kompletność wyników, nie spowalniając nadmiernie interaktywnego wyszukiwania.

Wspólne ocenianie pomaga rozstrzygać subtelne różnice, które samo podobieństwo może przeoczyć

Wyszukiwanie w prywatnych dokumentach często obejmuje dokładne ograniczenia: rok, przyrostek modelu, członka rodziny, folder, wersję, negację, wyjątek lub żądane działanie. Dwa fragmenty mogą być podobne tematycznie, choć tylko jeden spełnia te szczegóły.

wyszukiwanie semantyczne w NAS z AI dostarcza kandydatów opartych na znaczeniu z prywatnych plików różniących się sformułowaniem; kross-enkodowanie dodaje węższą ocenę tego, który z tych kandydatów najlepiej spełnia dokładne zapytanie.

Przykładowo zarówno stara, jak i aktualna polisa ubezpieczeniowa może bardzo dobrze pasować do zapytania „udział własny przy szkodach wodnych”. Wspólne ocenianie może wykorzystać sąsiednie daty i sformułowania, choć metadane wersji nadal powinny określać, która wersja kwalifikuje się do odpowiedzi dotyczącej bieżącego stanu.

To rozróżnienie wyznacza wyraźną granicę artykułu: kross-enkodowanie wyjaśnia sposób oceniania pary, podczas gdy szerszy potok wyszukiwania nadal odpowiada za generowanie kandydatów, aktualność, uprawnienia i pochodzenie cytowanych informacji.

Lokalne kross-enkodowanie wymienia prywatność na dodatkowe obliczenia, a nie na idealną kompletność wyników

Uruchamianie modelu oceniającego lokalnie sprawia, że prywatne zapytanie i tekst kandydata pozostają w domowej ścieżce wyszukiwania, ale każdy dodatkowy kandydat tworzy kolejną parę do wnioskowania.

granica oceniania zapytanie–dokument jest wyraźna: model otrzymuje zapytanie oraz dostarczone dokumenty i zwraca wyniki trafności, więc dowody nieobecne w tym zbiorze pozostają niemożliwe do odzyskania.

Zmierz kompletność kandydatów przed kross-enkoderem, jakość rankingu po jego użyciu oraz całkowite opóźnienie pełnego żądania. Jeśli właściwego fragmentu brakuje przed ponownym rankingowaniem, popraw ekstrakcję, wyszukiwanie, filtry lub liczbę kandydatów, zamiast obwiniać model oceniający pary.

Kross-enkoder jest najbardziej użyteczny wtedy, gdy szybki retriever już znajduje właściwy obszar, a pozostałym problemem jest ustalenie, który z pobliskich kandydatów faktycznie odpowiada na pytanie domownika.