Jak przesuwane okno kontekstu zmienia wykorzystanie pamięci przez lokalną sztuczną inteligencję?

Przesuwane okno kontekstu ogranicza aktywną pamięć uwagi, wykluczając starszy stan tokenów po osiągnięciu skonfigurowanego limitu przechowywanego okna.

Pełna uwaga przyczynowa przechowuje klucze i wartości dla całej aktywnej sekwencji, dlatego pamięć KV rośnie wraz z wydłużaniem się rozmowy, dokumentu lub generowanej odpowiedzi. Uwaga z przesuwanym oknem zmienia tę zależność: każdy token zwraca uwagę bezpośrednio tylko na ograniczony, niedawny obszar, dzięki czemu starsze wpisy pamięci podręcznej mogą być nadpisywane lub pomijane, jeśli implementacja obsługuje bufor cykliczny. Model może obsługiwać długi strumień przy bardziej przewidywalnym roboczym zestawie danych, ale usunięta historia nie jest już dostępna za pośrednictwem tej samej bezpośredniej ścieżki uwagi.

Pełna uwaga stale rozszerza aktywną historię KV

W przypadku standardowego wnioskowania z pełnym kontekstem każdy przechowywany token wnosi tensory kluczy i wartości do warstw uwagi modelu. Dłuższa rozmowa zwiększa więc pamięć podręczną, do której trzeba zachować dostęp.

Mistral 7B wprowadził uwagę z przesuwanym oknem jako sposób na obniżenie kosztu wnioskowania podczas przetwarzania długich sekwencji.

Pamięć wag nie zmienia się wraz z długością rozmowy, ale zmienia się ilość pamięci operacyjnej dostępnej na pamięć podręczną KV, użytkowników i tymczasowe zadania.

Stałe okno może ograniczyć wzrost pamięci podręcznej po rozgrzaniu

Jeśli każda warstwa przechowuje tylko najnowsze okno tokenów, starsze wpisy KV mogą opuszczać aktywny roboczy zestaw danych, gdy pojawiają się nowe tokeny. Pamięć zbliża się wtedy do limitu zależnego od rozmiaru okna, a nie od całkowitej długości strumienia.

Longformer formalizuje lokalną uwagę okna, której obliczenia skalują się zgodnie z wybranym sąsiedztwem, a nie z każdą parą tokenów.

Cykliczny bufor KV może ponownie wykorzystywać fizyczne miejsca po zapełnieniu okna, zapewniając stabilniejsze zużycie pamięci podczas długiej lokalnej rozmowy lub strumienia transkrypcji.

Korzyść ta zależy od tego, czy środowisko wykonawcze rzeczywiście usuwa lub nadpisuje stan spoza okna. Architektura modelu wykorzystująca lokalną uwagę nie gwarantuje, że każdy silnik serwujący przydziela pamięć podręczną w identyczny sposób.

Warstwy ułożone jedna na drugiej mogą przenosić informacje poza pojedyncze lokalne okno

Token w jednej warstwie odczytuje niedawne sąsiedztwo z poprzedniej warstwy. Głębsze warstwy otrzymują reprezentacje, które zawierają już informacje połączone z wcześniejszych sąsiedztw.

Architektura Mistral wyjaśnia ten ułożony stos pól odbioru: informacje mogą propagować dalej niż jedno okno w wielu warstwach transformera.

Propagacja pośrednia nie jest tym samym co zachowanie dokładnego, bezpośredniego dostępu do każdego starego tokena. Model otrzymuje przekształcone reprezentacje, a nie nieograniczoną tablicę wyszukiwania obejmującą całą historię.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Usuwanie starego stanu KV zmienia zakres informacji, które model może bezpośrednio odzyskać

Gdy wczesny token opuści każde odpowiednie okno uwagi, późniejsze tokeny nie mogą zwrócić uwagi na jego pierwotny klucz i wartość za pośrednictwem standardowej ścieżki lokalnej uwagi.

StreamingLLM pokazuje, że naiwne usuwanie najstarszych tokenów może pogorszyć działanie modelu po przekroczeniu przez sekwencję rozmiaru pamięci podręcznej.

Węzły przyciągające uwagę, tokeny globalne, podsumowania, wyszukiwanie lub hybrydowe warstwy charakterystyczne dla danej architektury mogą zachowywać wybrane informacje dalekiego zasięgu, jednocześnie ograniczając większość pamięci podręcznej.

Oszczędność pamięci ma więc granicę semantyczną: stare szczegóły mogą wymagać podsumowania, ponownego wyszukania lub celowego zachowania poza zwykłym przesuwanym obszarem.

Rozmiar okna trzeba testować w rzeczywistym środowisku wykonawczym i na faktycznym scenariuszu pracy

Oszacuj limit pamięci podręcznej na podstawie rozmiaru okna, liczby głów KV, wymiaru głowy, liczby warstw, precyzji, rozmiaru partii i liczby aktywnych użytkowników. Następnie zweryfikuj rzeczywiste zachowanie alokatora, zamiast zakładać, że teoretyczny limit zostanie w pełni osiągnięty.

Analiza Kimi K3 w ZimaSpace rozdziela stan stały i rosnący wraz z liczbą tokenów podczas omawiania pamięci dla długiego kontekstu. Różne rozwiązania dotyczące uwagi mogą nakładać różne ograniczenia, nawet jeśli deklarują podobny maksymalny kontekst.

Przetestuj krótkie rozmowy, strumienie dłuższe niż okno, fakty umieszczone na początku, kilku jednoczesnych użytkowników oraz czysty restart. Zapisz szczytowe zużycie pamięci, opóźnienie do pierwszego tokena, szybkość generowania oraz to, czy informacje z początku pozostają dostępne.

Mniejsze okno jest przydatne, gdy zwalnia wystarczającą ilość pamięci na rzecz niezawodności lub współbieżności, nie usuwając informacji, które lokalny scenariusz pracy musi zachować.

FAQ

Czy przesuwane okno oznacza to samo co usunięcie rozmowy?

Nie. Aplikacja może nadal przechowywać pełny zapis rozmowy, ale model może bezpośrednio zwracać uwagę tylko na niedawne okno, chyba że starsza treść zostanie podsumowana lub ponownie wyszukana.

Czy uwaga z przesuwanym oknem zawsze zużywa stałą ilość pamięci?

Może ograniczać pamięć podręczną uwagi dla jednej sekwencji, ale całkowita pamięć nadal obejmuje wagi, inne warstwy, aktywnych użytkowników, bufory tymczasowe i rezerwy środowiska wykonawczego.

Czy model może pamiętać fakty starsze niż jego okno?

Czasami dzięki propagowanym reprezentacjom, globalnej uwadze, podsumowaniom, wyszukiwaniu lub pamięci aplikacji, ale bezpośredni dostęp do pierwotnego stanu tokenów jest ograniczony przez architekturę.