Jak topologia NUMA wpływa na przepustowość wielu modeli?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

How Does NUMA Topology Affect Multi-Model Throughput? - Zima Store Online

Topologia NUMA zmniejsza przepustowość wielu modeli, gdy wątki modeli i dane wejściowe akceleratora wielokrotnie uzyskują dostęp do pamięci podłączonej do innego gniazda.

W środowisku domowego serwera topologia NUMA może zmieniać zarówno interaktywne działanie, jak i wykorzystanie zasobów w tle. Widoczny efekt pojawia się dopiero po przejściu żądania przez kilka etapów przetwarzania, dlatego jedna średnia wartość może ukrywać miejsce, w którym rozpoczęło się opóźnienie, pogorszenie jakości lub awaria. Oddzielenie transportu, obliczeń, pamięci masowej i stanu aplikacji umożliwia testowanie tej zależności w poza tym identycznych warunkach.

Etap wejściowy, na który wpływa topologia NUMA

Na etapie wejściowym każde gniazdo CPU ma dostęp do lokalnej pamięci z mniejszymi opóźnieniami. Ten krok zmienia to, co otrzymuje kolejny komponent, dlatego obserwowanego wyniku nie można przypisać wyłącznie końcowemu interfejsowi ani modelowi. Utrzymanie stałych danych wejściowych i obciążenia uwidacznia tę wczesną transformację.

Model polityki pamięci NUMA zapewnia konkretny sposób interpretacji tego etapu: każde gniazdo CPU ma dostęp do lokalnej pamięci z mniejszymi opóźnieniami. Jego praktyczna wartość polega na oddzieleniu zmienionej zmiennej od późniejszych efektów buforowania, planowania, pamięci masowej lub renderowania, które mogą powodować podobne objawy.

Gdy zmienia się pierwszy etap, procesy bez przypisania mogą alokować wagi na jednym węźle, a wykonywać obliczenia na innym. Konsekwencja może pojawić się jako opóźnienie, dokładność, zużycie energii, pojemność lub odczuwana płynność, zależnie od pytania artykułu, ale ścieżka przyczynowa nadal rozpoczyna się przed wyświetleniem końcowego wyniku.

Jak późniejsze etapy przejmują tę zmianę

Późniejsze etapy zachowują tę zmianę lub ją wzmacniają, ponieważ procesy bez przypisania mogą alokować wagi na jednym węźle, a wykonywać obliczenia na innym. Jednoczesne zadania związane ze sztuczną inteligencją, pamięcią masową, multimediami lub automatyzacją mogą więc wzmacniać efekt, który w teście pojedynczego żądania wydaje się niewielki. Ważniejsze od średniej wartości w bezczynności systemu jest zachowanie wartości skrajnych.

Mechanizm lokalności NUMA łączy warstwę współdzielonych zasobów z wynikiem: procesy bez przypisania mogą alokować wagi na jednym węźle, a wykonywać obliczenia na innym. Oddzielny pomiar tej warstwy zapobiega pomyleniu przepustowości, trafień w pamięci podręcznej, potwierdzeń lub optymistycznych aktualizacji statusu z ukończoną pracą widoczną dla użytkownika.

Interakcja trwa nadal, ponieważ współdzielone urządzenia wejścia-wyjścia są topologicznie bliżej określonych węzłów. Dlatego dwa domowe serwery o tym samym deklarowanym sprzęcie lub tej samej szybkości sieci mogą działać różnie, gdy różnią się głębokością kolejki, układem danych, stanem pamięci podręcznej lub zasadami.

Praktyczny limit topologii NUMA

Bardziej agresywne dostrajanie nie zawsze jest lepsze. W tym przypadku małe modele mieszczące się w pamięci podręcznej mogą nie ujawnić kary za dostęp do zdalnej pamięci. Inne wąskie gardło może wyznaczyć limit, zanim zmiana topologii NUMA stanie się mierzalna.

Zależność związana z dostępem do zdalnej pamięci pomaga odróżnić oczekiwany mechanizm od konkurencyjnego wyjaśnienia. Kontrolowany test musi utrzymywać stałe dane źródłowe, sprzęt, współbieżność, stan pamięci podręcznej i wersje oprogramowania, zmieniając wyłącznie zmienną wskazaną w tytule.

Granica awarii zostaje osiągnięta, gdy małe modele mieszczące się w pamięci podręcznej mogą nie ujawnić kary za dostęp do zdalnej pamięci. Po przekroczeniu tego punktu bardziej agresywne dostrajanie może zwiększyć koszty, ryzyko lub niestabilność bez poprawy wyniku obiecanego przez tytuł.

Featured

ZimaCube 2 Osobisty domowy NAS w chmurze

ZimaCube2

Często zadawane pytania dotyczące topologii NUMA

Czy topologia NUMA jest głównym wąskim gardłem?

Nie automatycznie. Jest głównym wąskim gardłem tylko wtedy, gdy jej zmiana wpływa na wynik, podczas gdy procesy bez przypisania mogą alokować wagi na jednym węźle, a wykonywać obliczenia na innym, a pozostałe warunki pozostają stałe. Jeśli wynik nie reaguje, limit wyznacza inny etap.

Czy buforowanie może ukryć wpływ topologii NUMA?

Tak. Ciepłe pamięci podręczne, zachowane sesje, rezydujące modele, buforowane multimedia i optymistyczne aktualizacje interfejsu mogą pominąć badany etap. Wyniki dla uruchomień z zimną i ciepłą pamięcią podręczną należy raportować osobno. Ta zależność powinna pozostać widoczna w powtarzalnym teście domowego serwera.

Która metryka topologii NUMA ma największe znaczenie?

Przydatne pomiary to lokalna przepustowość, dostęp do pamięci zdalnej, przepustowość modelu i opóźnienie p95. Średnim wartościom należy towarzyszyć opóźnienie wartości skrajnych, liczba błędów, jakość lub koszt zasobów, aby wynik wyglądający na płynniejszy nie został pomylony z lepszym systemem.

Przeprowadź kontrolowany test topologii NUMA

Utwórz reprezentatywne obciążenie i przed zmianą topologii NUMA zapisz lokalną przepustowość, dostęp do pamięci zdalnej, przepustowość modelu oraz opóźnienie p95. Przeprowadź próby z zimną i ciepłą pamięcią podręczną, uwzględnij realistyczną współbieżność i zachowaj te same dane, wersje, sprzęt oraz kryterium sukcesu widoczne dla użytkownika w każdym porównaniu.

Skorzystaj z powiązanego mechanizmu w topologii NUMA, aby przed testem określić oczekiwany kierunek zmian. Zmieniaj jedną zmienną naraz, zapisuj medianę i zachowanie wartości skrajnych oraz zachowaj przypadek nieudany lub pogorszony, aby wynik obejmował jego granicę operacyjną.

Wprowadź zmianę tylko wtedy, gdy zmierzona korzyść utrzymuje się w powtarzanych próbach, a określona granica pozostaje akceptowalna. Jeśli dominuje inny etap, pozostaw topologię NUMA bez zmian i przetestuj zamiast niej konkurencyjne wąskie gardło, nie wyciągając wniosków o przyczynowości na podstawie samej korelacji.