Jak kwantyzacja wpływa na jakość odpowiedzi lokalnej sztucznej inteligencji?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

How Does Quantization Change Local AI Answer Quality? - Zima Store Online

Kwantyzacja zmienia jakość odpowiedzi lokalnej sztucznej inteligencji, zastępując wartości o wysokiej precyzji bardziej zgrubnymi reprezentacjami, które wprowadzają zależne od modelu przybliżenia numeryczne.

Oszczędność pamięci może sprawić, że większy lub szybszy model będzie praktyczny na sprzęcie domowym, ale cztery czy osiem bitów nie opisuje jednego uniwersalnego poziomu jakości. Metody różnią się tym, które tensory poddają kwantyzacji, jak dobierają skale, czy chronią wartości odstające oraz jakich danych kalibracyjnych używają. Niewielka zmiana wyniku benchmarku może również maskować problemy z programowaniem, matematyką, promptami wielojęzycznymi, ustrukturyzowanymi danymi wyjściowymi lub prywatnym przepływem pracy RAG. Poniższe sekcje łączą zmianę numeryczną z odpowiedziami, które faktycznie otrzymuje domownik.

Kwantyzacja zastępuje ciągły zakres mniejszą liczbą reprezentowalnych poziomów

Wagi i aktywacje zmiennoprzecinkowe mogą wyrażać wiele różnych wartości. Formaty o mniejszej liczbie bitów odwzorowują te wartości na mniejszy zbiór poziomów, ograniczając ruch danych i zajętość pamięci kosztem błędu zaokrągleń lub obcinania.

GPTQ demonstruje kwantyzację wag o małej liczbie bitów, która kompresuje duże modele, minimalizując błąd wprowadzany przez zastąpienie wag o pełnej precyzji.

Model nie traci ustalonego procentu inteligencji. Przybliżenie zakłóca wiele wewnętrznych obliczeń, a widoczny efekt zależy od tego, czy te zakłócenia zmieniają prawdopodobieństwa tokenów istotne dla danego zadania.

Szerokość bitowa zmienia budżet błędu, ale nie w idealnie płynny sposób

Wyższa precyzja zwykle zapewnia kwantyzatorowi więcej poziomów, a tym samym większe możliwości zachowania drobnych różnic. Przejście z ośmiu bitów do czterech, trzech lub dwóch zwiększa presję kompresji.

Obszerna ewaluacja wykazała, że modele skwantyzowane do 4 bitów mogą pozostać porównywalne z nieskwantyzowanymi modelami bazowymi w wielu testowanych ustawieniach, ale wynik ten nie jest gwarancją dla każdego modelu, sposobu kwantyzacji ani rozkładu promptów.

Jakość może zmienić się gwałtownie, gdy jedna wrażliwa warstwa, kanał lub decyzja dotycząca wyniku przekroczy próg numeryczny. Dlatego dwa zbliżone poziomy kwantyzacji mogą zachowywać się podobnie średnio, a jednocześnie różnić się w konkretnym toku rozumowania.

Bardzo agresywna kompresja pozostawia również mniej miejsca na ochronę rzadkich, lecz istotnych wartości.

Wagi, aktywacje i pamięć podręczna KV wpływają na różne elementy inferencji

Kwantyzacja samych wag kompresuje parametry modelu ładowane przy każdym żądaniu. Kwantyzacja wag i aktywacji zmniejsza również precyzję wartości pośrednich powstających podczas obliczeń.

SmoothQuant wykorzystuje wygładzanie aktywacji, aby obsługiwać ośmiobitowe wagi i aktywacje przy zachowaniu dokładności w testowanych LLM-ach. Metoda ta istnieje, ponieważ wartości odstające w aktywacjach są trudniejsze do kwantyzacji niż typowe wartości wag.

Kwantyzacja pamięci podręcznej KV wpływa na przechowywany stan uwagi dla bieżącego kontekstu, a nie na statyczne parametry modelu. Może zwiększyć długość kontekstu lub współbieżność, ale jej błędy kumulują się w ścieżce uwagi w inny sposób.

Oznaczenie takie jak Q4 jest niepełne, jeśli środowisko uruchomieniowe nie określa również, które komponenty pozostają przy wyższej precyzji.

Featured

ZimaCube 2 Osobisty domowy NAS w chmurze

ZimaCube2

Wartości odstające i istotne kanały mogą mieć nieproporcjonalne znaczenie

Jednorodne kwantyzowanie każdego kanału zakłada, że ta sama precyzja jest wszędzie równie użyteczna. Rzeczywiste modele zawierają kanały, których wzorce aktywacji sprawiają, że ich wagi są bardziej wrażliwe na zaokrąglenia.

AWQ chroni istotne kanały wag przy użyciu statystyk aktywacji, ograniczając błąd kwantyzacji bez przechowywania dużego modelu o mieszanej precyzji.

To wyjaśnia, dlaczego dwa pliki o tej samej nominalnej liczbie bitów mogą zapewniać różną jakość. Rozmiar grupy, metoda skalowania, obsługa wartości odstających oraz to, które warstwy pozostają nieskwantyzowane, zmieniają efektywne przybliżenie.

Dane kalibracyjne mogą wpływać na to, które zachowania zostaną zachowane

Metody pokwantyzacyjne często analizują zbiór danych kalibracyjnych w celu doboru skal, progów obcinania lub przekształceń kanałów. Zbiór ten stanowi jedynie próbkę przyszłych promptów.

Badania nad kwantyzacją pokazują, że jakość kalibracji może wpływać na odzyskiwanie dokładności, szczególnie wraz ze wzrostem skali modelu i trudności kwantyzacji.

Zbiór kalibracyjny zdominowany przez rozmowy po angielsku może nie chronić tokenów kodu, zapisu matematycznego, innego języka ani stylu dokumentów używanego w domowej bazie wiedzy.

Trening uwzględniający kwantyzację może dostosować model do niskiej precyzji, podczas gdy kwantyzacja pokwantyzacyjna musi zachować dotychczasowe zachowanie bez pełnego cyklu ponownego trenowania. Nie należy traktować tych metod jako równoważnych tylko dlatego, że format wyjściowy ma tę samą liczbę bitów.

Utrata jakości różni się w zależności od zadań i modeli

Perpleksja i szerokie benchmarki podsumowują średnie zachowanie, ale lokalny przepływ pracy może zależeć od poprawnego JSON-a, prawidłowych argumentów narzędzi, wyszukiwania w długim kontekście, składni kodu lub jednego wyspecjalizowanego języka.

Empiryczne badanie modelu LLaMA 3 analizuje pogorszenie wyników zależne od zadania, zamiast zakładać, że jedna metryka w pełni opisuje zachowanie modelu po kwantyzacji.

Nieco bardziej zaszumiony rozkład prawdopodobieństwa może pozostać niewidoczny w swobodnej prozie, a jednocześnie zepsuć deterministyczne wydobywanie danych lub spowodować wybór niewłaściwego fragmentu dowodowego w systemie RAG. Mniejsze modele mogą również reagować inaczej niż większe przy tej samej liczbie bitów.

Przegląd lokalnej sztucznej inteligencji ZimaSpace stawia dopasowanie do obciążenia przed nazwą modelu. Przydatne porównanie dotyczy konfiguracji po kwantyzacji uruchomionej w rzeczywistym prywatnym przepływie pracy, a nie wyłącznie wyniku w publicznym rankingu.

Testuj kwantyzację w odniesieniu do kosztu błędów w danym przepływie pracy

Utwórz stały zestaw ewaluacyjny na podstawie rzeczywistych promptów: zwykłych rozmów, trudnych pytań, wywołań narzędzi, ustrukturyzowanych danych wyjściowych, długich dokumentów, danych wielojęzycznych oraz przypadków, w których błędna odpowiedź miałaby znaczenie.

Systematyczna ewaluacja na urządzeniu traktuje możliwości i wydajność jako wspólną decyzję, zamiast optymalizować wyłącznie zużycie pamięci.

Porównaj pełną precyzję, osiem bitów, cztery bity oraz każdy bardziej agresywny format, który rzeczywiście mieści się na serwerze. Zapisz poprawność odpowiedzi, zachowanie podczas odmowy, prawidłowość formatu, opóźnienie, zużycie pamięci i powtarzalność przy identycznych ustawieniach dekodowania.

Właściwa kwantyzacja to format o najniższym koszcie, który zachowuje wymagane działanie przepływu pracy. Niewielka oszczędność pamięci nie ma wartości, jeśli powoduje ciche błędy, natomiast niewielki spadek wyniku benchmarku może być akceptowalny, gdy umożliwia lokalne uruchomienie znacznie silniejszego modelu.