Co powoduje utratę pakietów tylko podczas zapisywania dużych plików na domowym serwerze NAS?

Eva Wong jest redaktorką techniczną i rezydentką majsterkowania w ZimaSpace. Jest geekiem od zawsze, z pasją do domowych laboratoriów i oprogramowania open source, a jej specjalnością jest przekładanie złożonych zagadnień technicznych na przystępne, praktyczne poradniki. Eva wierzy, że samodzielne hostowanie powinno sprawiać radość, a nie onieśmielać. Dzięki swoim samouczkom pomaga społeczności oswoić konfigurację sprzętu, od budowy pierwszego serwera NAS po opanowanie kontenerów Docker.

Utrata pakietów podczas zapisu dużych plików na NAS zwykle wskazuje na problemy z siecią na ścieżce od klienta do NAS pod długotrwałym obciążeniem, a nie wyłącznie z dyskami.

Krótki ping lub przeglądanie katalogów mogą nie wykazać problemu, ponieważ generują niewielki ruch. Natomiast zapis SMB pliku o rozmiarze kilku gigabajtów nieustannie obciąża nadajnik klienta, wypełnia kolejki przełącznika, sprawdza kabel przy maksymalnej szybkości transmisji i wymaga ciągłego odbioru danych przez kartę sieciową i procesor NAS. Dlatego diagnoza powinna uwzględniać porównanie pomiarów przy bezczynności i pod obciążeniem, sprawdzenie kierunku zapisu na kolejnych odcinkach połączenia oraz zmianę tylko jednego elementu naraz: kabla, portu, funkcji sterownika lub warunków po stronie nadajnika.

Ustal, czy utrata pakietów występuje tylko pod obciążeniem zapisu

Uruchom ciągły ping z małymi pakietami z klienta zapisującego dane do NAS przed kopiowaniem, podczas długotrwałego zapisu dużego pliku i po zakończeniu kopiowania. Równocześnie zapisuj przepustowość SMB, opóźnienie pod obciążeniem, retransmisje oraz liczniki błędów interfejsu na obu urządzeniach.

Testowanie utraty pakietów powinno łączyć ping, iperf i statystyki interfejsu, ponieważ pojedynczy ping składający się z czterech pakietów może nie wykryć krótkotrwałej awarii wywołanej obciążeniem. Warto sprawdzić, czy utrata pakietów lub błędy pojawiają się wraz z rozpoczęciem zapisu i ustępują po jego zakończeniu.

Jeśli rośnie tylko opóźnienie, a pakiety ostatecznie docierają, przed uznaniem tego za utratę pakietów sprawdź kolejki i bufferbloat. Jeśli NAS wstrzymuje zapis, ale pingi i liczniki interfejsu są prawidłowe, wąskim gardłem jest raczej ścieżka zapisu, system plików, opróżnianie pamięci podręcznej, obliczanie parzystości lub aplikacja, a nie transmisja przez Ethernet.

Przed wymianą sprzętu ustal kierunek zapisu

Podczas zapisu z klienta do NAS karta sieciowa klienta wysyła dane, przełącznik przekazuje je do portu NAS, a karta sieciowa NAS je odbiera. Kierunek transmisji wskazuje, które liczniki i podmiany sprzętu mogą faktycznie pomóc w odizolowaniu usterki.

Brak błędów na liczniku wysyłania NAS nie wyklucza problemów po stronie odbiorczej NAS, a prawidłowy licznik odbioru klienta niewiele mówi o ramkach wysyłanych przez klienta. Porównaj błędy i utracone pakiety TX klienta, liczniki ruchu przychodzącego i wychodzącego przełącznika, błędy i utracone pakiety RX NAS oraz retransmisje TCP w tym samym przedziale testowym.

Wyzeruj lub zapisz liczniki przed każdym testem, prześlij ten sam duży plik, a następnie sprawdź, który licznik wzrasta tylko podczas awarii. Pierwsze urządzenie, które odnotuje błędy fizyczne, odrzucone pakiety w kolejce, pominięte pakiety lub utracone pakiety przy odbiorze, staje się kolejnym punktem testowym.

Sprawdź, czy liczba błędów fizycznych rośnie przy długotrwałym przesyłaniu z szybkością łącza

Uszkodzony kabel, złącze, nadajnik-odbiornik lub port przełącznika może obsługiwać niewielki ruch bez problemów, a mimo to podczas długiego zapisu generować błędy CRC, ramki, nośnika lub symboli. Duże transfery nie „przeciążają” prawidłowo wynegocjowanego połączenia kablowego; po prostu generują wystarczająco dużo ramek, by szybko ujawnić usterkę fizycznej ścieżki.

Rzeczywiste przypadki diagnozowania problemów z transferem plików pokazują, że błędy interfejsu podczas kopiowania dużych plików wskazują na kabel, kartę sieciową, port lub urządzenia pośredniczące, a nie na sam rozmiar pliku.

Wymieniaj tylko jeden element podczas każdego testu: najpierw kabel krosowy, potem port przełącznika, a następnie kartę sieciową klienta lub port NAS-a, jeśli to możliwe. Diagnozę wskazującą na warstwę fizyczną potwierdza wzrost liczby błędów zależny od konkretnego elementu lub zanik błędów po jego pojedynczej wymianie.

Sprawdź, czy odbiornik NAS-a gubi ramki, zanim SMB zdąży je przetworzyć

Połączenie sieciowe może być elektrycznie bezbłędne, a mimo to host odbierający dane może gubić pakiety, ponieważ jego kolejki karty sieciowej, sterownik, obsługa przerwań, procesor lub przełącznik wirtualny nie nadążają z obsługą ruchu. Jest to szczególnie prawdopodobne w przypadku małego NAS-a, który podczas zapisu wykonuje szyfrowanie, uruchamia kontenery, indeksowanie lub obliczanie parzystości.

Opis bezpośredniego połączenia Ethernet o wysokiej przepustowości pokazuje przeciążenie przetwarzania pakietów przez hosta, nawet bez przeciążonej sieci z wieloma przeskokami. Kluczowe rozróżnienie polega na tym, że liczniki utraty pakietów lub pominiętych pakietów po stronie odbiorczej hosta rosną, podczas gdy liczniki błędów CRC kabla pozostają bez zmian.

Powtórz zapis przy wstrzymanych zbędnych usługach NAS, a następnie przetestuj obciążenie sieciowe przesyłające dane między obszarami pamięci, bez zapisu na dysk. Jeśli utrata pakietów po stronie odbiorczej nadal występuje bez operacji wejścia/wyjścia na urządzeniu pamięci masowej, skup się na sterowniku karty sieciowej, głębokości kolejki, rozkładzie przerwań, przełączniku wirtualnym i procesorze hosta, a nie na systemie plików.

Szukaj mikroserii przy wolniejszym lub współdzielonym porcie wyjściowym

Utrata pakietów może wystąpić wewnątrz przełącznika, gdy szybszy klient wysyła dane do wolniejszego portu NAS, kilku klientów zapisuje dane jednocześnie albo ruch z wielu portów wejściowych trafia do jednej wyjściowej kolejki. Średnie wykorzystanie może wyglądać bezpiecznie, mimo że krótki skok ruchu przekracza pojemność kolejki.

Przykład zapisu danych na urządzenie pamięci masowej przy mikroseryjnej utracie pakietów pokazuje, jak dwóch nadawców wysyłających dane z wysoką szybkością może przez krótki czas wymagać większej przepustowości wyjściowej i więcej miejsca w buforze, niż zapewnia port docelowy.

Przetestuj jednego nadawcę przez jeden przełącznik, a następnie porównaj wynik z bezpośrednim połączeniem lub ścieżką o jednakowych prędkościach łączy. Jeśli utrata pakietów znika po wyeliminowaniu konkurujących nadawców, wolniejszego łącza nadrzędnego lub pośredniego przełącznika, sprawdź odrzucone pakiety na wyjściu i działanie kolejek zamiast wymieniać dyski NAS.

Testuj EEE i odciążanie dopiero po zlokalizowaniu usterki

Energy Efficient Ethernet, odciążanie sum kontrolnych, odciążanie dużych wysyłanych pakietów, kontrola przepływu i moderowanie przerwań mogą wpływać na działanie określonych kombinacji kart sieciowych i sterowników, ale jednoczesne wyłączenie wszystkich funkcji uniemożliwia zebranie danych potrzebnych do ustalenia rzeczywistej przyczyny.

W udokumentowanym przypadku problemu z Ethernetem w Raspberry Pi wyłączenie funkcji Energy Efficient Ethernet zatrzymało poważną utratę pakietów na tym kontrolerze i urządzeniu po drugiej stronie łącza. To przydatny test porównawczy A/B, ale dopiero wtedy, gdy liczniki lub podmiana elementów wskazują na urządzenie końcowe, a nie kabel czy kolejkę przełącznika.

Zmień jedną funkcję, ponów ten sam duży zapis i przywróć pierwotne ustawienie, jeśli wynik się nie zmieni. Obejście problemu za pomocą funkcji sterownika należy udokumentować, podając model karty sieciowej, wersję sterownika, port przełącznika i dokładny objaw, aby można było przetestować je po kolejnej aktualizacji, zamiast pozostawiać niewyjaśnione zmiany konfiguracji.

Użyj wzorca wyników, aby wybrać kolejną naprawę

Ostateczna diagnoza powinna wyjaśniać, dlaczego niewielki ruch przebiega bez problemów, a długotrwałe zapisy zawodzą. Błędy fizyczne wskazują na problem ze ścieżką sygnału; odrzucone pakiety na wyjściu przełącznika wskazują na przeciążenie kolejki; odrzucone pakiety przy odbiorze przez NAS wskazują na przeciążenie odbiornika; a czyste liczniki sieciowe przy zawieszonym kopiowaniu sugerują problem z pamięcią masową lub działaniem aplikacji.

Wyjaśnienie ZimaSpace dotyczące tego, jak utrata pakietów obniża użyteczną przepustowość, pomaga zrozumieć, dlaczego wynegocjowane połączenie może nadal działać z pełną szybkością, podczas gdy zapis SMB zwalnia, zatrzymuje się lub wielokrotnie retransmituje dane.

Nie uznawaj problemu za rozwiązany, dopóki ten sam duży zapis nie zakończy się wielokrotnie ze stabilnymi opóźnieniami, bez nowych błędów fizycznych, rosnącej liczby odrzuconych pakietów przy odbiorze ani odrzuconych pakietów przy wysyłaniu oraz z niezmienioną sumą kontrolną danych docelowych. Jeśli zebrane dane nie pozwalają odróżnić problemu z siecią od problemu ze ścieżką zapisu danych, przestań zmieniać ustawienia i ponów test bez operacji wejścia/wyjścia dysku.

Wsparcie i porady

Więcej do przeczytania

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.