Jak kwantyzacja wpływa na jakość wyszukiwania osadzeń?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

How Does Quantization Affect Embedding Retrieval Quality? - Zima Store Online

Kwantyzacja embeddingów zazwyczaj zachowuje szerokie sąsiedztwa semantyczne, jednocześnie stwarzając ryzyko zmian kolejności wśród bliskich kandydatów, gdy zmniejsza się precyzja numeryczna i pojemność kodu.

Domowy indeks dokumentów może przechowywać miliony wymiarów wektorów, nawet gdy biblioteka źródłowa bez problemu mieści się na serwerze NAS. Kompresowanie embeddingów zmiennoprzecinkowych może zmniejszyć indeks i przyspieszyć jego przeszukiwanie, ale zapisana reprezentacja przybliża oryginalne odległości. Wpływ jest najmniejszy w przypadku wyraźnie odseparowanych dopasowań, a największy w pobliżu progu pobierania, gdzie niewielkie błędy odległości mogą zamienić miejscami istotne i nieistotne fragmenty.

Kwantyzacja zastępuje dokładne współrzędne kodami

Embeddingi o pełnej precyzji zachowują każdą współrzędną jako wartość zmiennoprzecinkową. Kwantyzacja skalarna mapuje wartości na mniejszą liczbę poziomów numerycznych, kwantyzacja produktowa dzieli wektor na podprzestrzenie i przechowuje identyfikatory kodbooków, a metody binarne zachowują tylko kompaktowe wzorce bitowe. Każde z tych podejść zmniejsza liczbę bajtów, odrzucając inne informacje.

Pierwotne sformułowanie kwantyzacji produktowej reprezentuje wektory wielowymiarowe za pomocą wyuczonych podkwantyzatorów i porównuje kompaktowe kody z użyciem przybliżonych odległości. Ta struktura wyjaśnia, dlaczego zużycie pamięci drastycznie spada, podczas gdy błąd rekonstrukcji staje się częścią każdej decyzji dotyczącej najbliższego sąsiada. Wpływ ten powinien pozostać mierzalny w docelowym obciążeniu domowego serwera.

Kompresja może również poprawić rzeczywistą przepustowość, ponieważ więcej wektorów mieści się w pamięci RAM lub pamięci podręcznej, a przez magistralę pamięci przesyłanych jest mniej danych. Mniejszy indeks nie jest automatycznie dokładniejszy; może po prostu przeszukiwać więcej kandydatów w ramach tego samego budżetu opóźnienia.

Błąd odległości ma największe znaczenie w pobliżu progu

Jeśli istotny dokument znajduje się znacznie bliżej niż każdy element rozpraszający, umiarkowana kwantyzacja rzadko zmienia zwycięzcę. Gdy kilka fragmentów ma podobne wyniki, błąd zaokrągleń lub kodbooka może zmienić ich kolejność, obniżając trafność przy małej wartości top-k, nawet jeśli średni błąd odległości wygląda akceptowalnie.

Badanie pobierania informacji z użyciem kwantyzacji kontrastowej wspólnie udoskonala reprezentacje BERT i poddaje je kwantyzacji produktowej, pokazując, że cele treningowe mogą sprawić, iż kompaktowe kody lepiej zachowują użyteczność wyszukiwania niż sama kompresja wykonywana po treningu. Pozwala to oddzielić projekt kwantyzatora od prostej liczby bitów.

Ustawienia przybliżonego wyszukiwania najbliższych sąsiadów oddziałują z kwantyzacją. Głębsze wyszukiwanie może odzyskać kandydatów utraconych wskutek zgrubnego routingu, a silny reranker może naprawić kolejność tylko wtedy, gdy istotny element przetrwa w zbiorze kandydatów pierwszego etapu. To rozróżnienie ma znaczenie, gdy kilka etapów potoku korzysta z tego samego budżetu pamięci masowej i operacyjnej.

Oszczędność pamięci może odbywać się kosztem trafności zapytań z długiego ogona

Błędy kwantyzacji nie rozkładają się równomiernie między zapytaniami. Rzadkie nazwy, terminy wielojęzyczne, krótkie ciągi znaków i embeddingi zdjęć o podobnym wyglądzie mogą zależeć od niewielkich różnic kierunkowych, których nie potrzebują popularne tematy, dlatego zagregowana trafność może ukrywać istotne przeoczenia w domu.

System wyszukiwania skompresowanych wektorów łączy wyszukiwanie z użyciem GPU ze skompresowanymi reprezentacjami w skali miliarda wektorów i przedstawia kompromis inżynieryjny między szybkością, pamięcią a dokładnością. Wyniki pokazują, dlaczego konfigurację indeksu należy oceniać jako kompletną ścieżkę pobierania.

Granica zawodności obejmuje każdą klasę zapytań, w której istotni kandydaci skupiają się ciasno wokół progu albo której rozkład embeddingów różni się od danych treningowych kwantyzatora. Zmniejszenie liczby bitów jest ryzykowne, gdy oszczędności akceptuje się bez pomiaru trafności dla poszczególnych segmentów.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

FAQ dotyczące wyszukiwania z kwantyzowanymi embeddingami

Czy kwantyzacja int8 zawsze zmniejsza trafność wyszukiwania?

Nie. Kwantyzacja skalarna int8 może dobrze zachowywać kolejność, gdy wektory są znormalizowane, a istotni sąsiedzi są wyraźnie od siebie oddzieleni. Utrata jakości staje się najpierw widoczna przy niewielkich różnicach wyników, zmianach rozkładu i małych wartościach top-k, dlatego trafność należy mierzyć na docelowym korpusie.

Czy reranking może odzyskać jakość utraconą wskutek kwantyzacji?

Reranking może naprawić kolejność kandydatów, które kwantyzowane wyszukiwanie nadal pobiera. Nie może odzyskać istotnego fragmentu nieobecnego w puli kandydatów, dlatego trafność pierwszego etapu należy sprawdzić przed oceną końcowej listy rankingowej.

Czy wektory zapytań i przechowywane wektory powinny używać tej samej precyzji?

Muszą korzystać ze zgodnych metod obliczania wyników i normalizacji, ale środowisko uruchomieniowe może przechowywać zapytania z wyższą precyzją, porównując je ze skwantyzowanymi wektorami przechowywanymi. Właściwy wybór zależy od implementacji indeksu i należy go zweryfikować na podstawie udokumentowanego sposobu obliczania odległości.

Przeprowadź test precyzji i trafności

Utwórz oznaczony zbiór zapytań zawierający zwykłe tematy, rzadkie nazwy, skróty, terminy wielojęzyczne i niemal identyczne zdjęcia. Zbuduj identyczne indeksy zmiennoprzecinkowe, int8, poddane kwantyzacji produktowej i binarne, a następnie porównaj trafność przy kilku głębokościach zbioru kandydatów, jakość końcowego rankingu, rozmiar indeksu, zużycie pamięci, opóźnienie i czas importu.

Interpretuj oszczędność miejsca razem z ograniczeniami kompresji opisanymi w artykule ograniczenia kompresji wektorów. Zachowaj stałe model embeddingów, korpus fragmentów, normalizację, intensywność wyszukiwania i reranker, aby mierzona różnica wynikała z kwantyzacji, a nie z innego ustawienia indeksu.

Wybierz najniższą precyzję, która spełnia cele trafności dla każdego istotnego segmentu zapytań, a nie tylko najlepszą średnią. Zwiększ głębokość zbioru kandydatów albo zachowaj pełną precyzję dla wrażliwych kolekcji, gdy błędy rankingu po kompresji koncentrują się w pobliżu operacyjnego progu.