Najnowszy blog

Parametry modelu pozostają stałe, natomiast stan mechanizmu uwagi rośnie wraz z liczbą tokenów i warstw, precyzją, rozmiarem partii oraz liczbą równoczesnych żądań domowej sztucznej inteligencji.

Ciągłe grupowanie utrzymuje akcelerator w ciągłej gotowości, ale sprawiedliwość zależy od sposobu mierzenia i dzielenia obsługi między nierówne żądania domowe.

Przesuwane okno ogranicza aktywną pamięć KV, zachowując jedynie zakres najnowszych tokenów i zamieniając uwagę na pełną historię na przewidywalną wydajność wnioskowania.

Faza wstępnego przetwarzania wykorzystuje równoległe operacje macierzowe na wielu tokenach wejściowych, podczas gdy dekodowanie przetwarza po jednym zaakceptowanym tokenie naraz i wielokrotnie odczytuje stan modelu.

Dekodowanie spekulatywne zmniejsza liczbę sekwencyjnych kroków modelu docelowego, generując wstępnie kilka kolejnych tokenów i weryfikując je jednocześnie bez zmiany dokładnych wyników dekodowania.

Kwantyzacja wprowadza przybliżenia numeryczne; jakość zależy od szerokości bitowej, metody, danych kalibracyjnych, skali modelu i testowanego procesu pracy.

Pamięć podręczna KV rośnie, gdy model przechowuje klucze i wartości mechanizmu uwagi dla większej liczby tokenów promptu i wyjścia w każdej warstwie transformera oraz dla każdego aktywnego żądania.

Harmonogramowanie akceleratora decyduje o tym, który użytkownik uzyskuje dostęp do modelu, współdzieli poszczególne iteracje, zachowuje stan pamięci podręcznej lub czeka na dłuższe zadania o wyższym priorytecie.