Dlaczego skwantyzowane modele lokalne tracą dokładność wykonywania instrukcji w przypadku długich, ustrukturyzowanych promptów?

Kwantyzowane modele lokalne mogą tracić dokładność wykonywania instrukcji, gdy długie, ustrukturyzowane prompty wzmacniają drobne błędy numeryczne w wielu wzajemnie oddziałujących ograniczeniach i decyzjach dotyczących tokenów.

Krótka prośba może wymagać podania jednego faktu lub zastosowania jednego formatu, podczas gdy długi, ustrukturyzowany prompt może łączyć reguły roli, zagnieżdżone schematy, wymagania dotyczące kolejności, wykluczenia, przykłady, pobrane dowody oraz wieloetapowe kontrole wyniku. Kwantyzacja zmniejsza wymagania pamięciowe modelu przez przybliżanie wag, aktywacji lub stanu środowiska uruchomieniowego, ale to przybliżenie nie wpływa jednakowo na wszystkie zachowania. Model może nadal generować płynny tekst, a jednocześnie pominąć pole, naruszyć późną instrukcję, pomylić hierarchię lub odejść od ścisłego kontraktu odpowiedzi. Poniższe sekcje łączą reprezentację niskobitową z widocznymi błędami w wykonywaniu instrukcji.

Kwantyzacja zmienia wartości wewnętrzne bez zmiany promptu

Kwantyzacja po treningu mapuje wartości o wyższej precyzji na mniejszą liczbę reprezentowalnych poziomów. Tokeny promptu pozostają identyczne, ale ukryte aktywacje i obliczenia prawdopodobieństwa wykorzystywane do ich interpretacji ulegają niewielkim zmianom.

Obszerna ocena obejmująca różne rodziny modeli wykazała, że skutki kwantyzacji są różne w zależności od rodziny modelu, celów numerycznych i kategorii zadań, zamiast powodować jeden uniwersalny spadek dokładności.

Otwarta proza może tolerować niewielkie przesunięcia prawdopodobieństwa tokenów, ponieważ kilka kontynuacji pozostaje akceptowalnych. Ustrukturyzowane instrukcje są mniej wyrozumiałe, gdy kontrakt spełnia tylko jedna nazwa pola, ogranicznik, kolejność lub reguła odmowy.

Wykonywanie instrukcji może pogorszyć się wcześniej niż ogólna płynność

Kwantyzowany model może nadal pisać spójne akapity i odpowiadać na znane pytania, a jednocześnie działać mniej konsekwentnie przy spełnianiu wyraźnie określonych ograniczeń.

Najnowsze prace analizują konkretnie utratę zdolności wykonywania instrukcji po kwantyzacji i traktują ją jako zachowanie, które może wymagać ukierunkowanego odzyskiwania, a nie tylko optymalizacji zwykłego zakłopotania modelu.

Prowadzi to do mylącego wyniku lokalnego testu: odpowiedź brzmi kompetentnie, ale brakuje w niej wymaganego klucza, pojawia się zabroniona sekcja albo model stosuje się do przykładu silniej niż do właściwej reguły.

Walidacja musi więc osobno oceniać zgodność z kontraktem, czytelność i poprawność tematyczną.

Długie prompty zwiększają znaczenie pozycji i konkurencji między ograniczeniami

Ustrukturyzowane prompty często rozmieszczają instrukcje na początku, w środku i na końcu kontekstu. Pobrane dokumenty i przykłady mogą umieścić tysiące konkurujących tokenów między regułą a wynikiem.

Badania nad długim kontekstem wykazują zależne od pozycji wykorzystywanie informacji nawet przed wprowadzeniem kwantyzacji.

Kwantyzacja może zmniejszyć margines oddzielający poprawną interpretację od bliskiej alternatywy. Reguła już słabo reprezentowana ze względu na swoją pozycję lub konkurencyjny kontekst staje się łatwiejsza do przeoczenia.

Powtarzanie każdej instrukcji nie jest eleganckim rozwiązaniem. Wydłuża prompt i może powodować dodatkowe konflikty, jeśli hierarchia nie jest jasno określona.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Dane kalibracyjne mogą nie odzwierciedlać zachowania przy ustrukturyzowanych promptach

Wiele metod stosowanych po treningu dobiera skale lub sposób obcinania wartości na podstawie próbki kalibracyjnej. Próbka zdominowana przez zwykłą prozę może nie zachowywać tych samych wzorców aktywacji co schematy JSON, bloki kodu, tabele lub długie, wieloczęściowe instrukcje.

Narzędzia do kwantyzacji rozróżniają metody wymagające danych kalibracyjnych od metod dynamicznych lub uwzględniających trening.

Zestaw kalibracyjny może zachować średnie zachowanie językowe, a jednocześnie niewystarczająco reprezentować dokładny przepływ pracy istotny na serwerze domowym.

Używaj próbek zawierających rzeczywiste szablony promptów, języki, separatory, schematy i style dokumentów, których wdrożony model musi przestrzegać.

Precyzja pamięci KV może wpływać na późniejsze części długiej odpowiedzi

Niektóre środowiska uruchomieniowe kwantyzują nie tylko wagi modelu, lecz także pamięć klucz-wartość, która przechowuje stan uwagi dla aktywnego kontekstu.

Google Research opisuje kwantyzację pamięci KV jako sposób na zmniejszenie kosztu pamięci długiego kontekstu przy zachowaniu wydajności generowania.

Pamięć przechowuje wcześniejsze tokeny promptu i wyniku. Przybliżenie w tym miejscu może wpływać na to, jak późniejsze dekodowanie zwraca uwagę na zagnieżdżone wymagania lub wcześniej wygenerowaną strukturę.

Konfiguracje obejmujące wyłącznie wagi oraz wagi i pamięć podręczną należy zatem oceniać osobno, zamiast grupować je pod jedną ogólną etykietą liczby bitów.

Niezawodność struktury wymaga testów całego przepływu pracy

Testuj dokładnie ten sam plik kwantyzowany, środowisko uruchomieniowe, długość kontekstu, format pamięci podręcznej, ustawienia próbkowania i analizator wyników, które są używane w produkcji. Test porównawczy modelu bazowego nie może potwierdzić poprawności innej lokalnej konwersji.

NVIDIA zaleca ocenę kompromisów właściwych dla modelu, ponieważ pamięć, przepustowość i jakość zmieniają się w zależności od wybranej techniki wnioskowania i ścieżki sprzętowej.

Ograniczenia wdrażania lokalnego w ZimaSpace rozdzielają również kwestię załadowania modelu od tego, czy pozostaje on niezawodny przy docelowym kontekście i współbieżności.

Twórz adwersarialne testy strukturalne obejmujące zagnieżdżone obiekty, opcjonalne pola, późne ograniczenia, powtarzalny szablon, sprzeczne przykłady i przypadki odmowy. Właściwa kwantyzacja to najmniejszy format, który nadal przekracza próg dokładności wykonywania instrukcji wymagany przez dany przepływ pracy.

FAQ

Czy niższe zakłopotanie modelu gwarantuje lepsze wykonywanie instrukcji?

Nie. Zakłopotanie mierzy dopasowanie predykcyjne do sekwencji tokenów, podczas gdy dokładność wykonywania instrukcji może zależeć od ścisłych ograniczeń, poprawności schematu i zachowania przy odmowie.

Czy większy model kwantyzowany zawsze będzie lepiej wykonywać instrukcje niż mniejszy model o pełnej precyzji?

Nie. Na wynik wpływają możliwości modelu, dostrojenie, metoda kwantyzacji, długość promptu, środowisko uruchomieniowe i kontrakt zadania.

Czy przepisanie promptu może naprawić każdą awarię spowodowaną kwantyzacją?

Nie. Jasna hierarchia i krótsze prompty mogą pomóc, ale utrzymujące się błędy mogą wymagać formatu o wyższej precyzji, innego kwantyzatora lub innego modelu.