Jak prześledzić zdalny transfer pliku, który niezmiennie kończy się niepowodzeniem przy tym samym rozmiarze pliku?

Eva Wong jest redaktorką techniczną i rezydentką majsterkowania w ZimaSpace. Jest geekiem od zawsze, z pasją do domowych laboratoriów i oprogramowania open source, a jej specjalnością jest przekładanie złożonych zagadnień technicznych na przystępne, praktyczne poradniki. Eva wierzy, że samodzielne hostowanie powinno sprawiać radość, a nie onieśmielać. Dzięki swoim samouczkom pomaga społeczności oswoić konfigurację sprzętu, od budowy pierwszego serwera NAS po opanowanie kontenerów Docker.

Transfer, który wielokrotnie kończy się błędem przy tej samej liczbie bajtów, zwykle natrafia na deterministyczne ograniczenie lub problem na etapie po transferze, a nie na losową utratę pakietów.

W przypadku zdalnego NAS-a lub hostowanej samodzielnie usługi plikowej widoczny moment wystąpienia błędu może wynikać z docelowego systemu plików, braku miejsca lub egzekwowania limitu, limitu przesyłania aplikacji, odwrotnego serwera proxy, 32-bitowego licznika klienta, stałego czasu życia połączenia albo przetwarzania sumy kontrolnej po odebraniu danych. Najszybciej zdiagnozujesz problem, zapisując dokładny offset bajtowy i czas trwania, a następnie zmieniając po jednej zmiennej: rozmiar pliku, prędkość transferu, protokół i miejsce docelowe.

Zapisz dokładny offset bajtowy i etap wystąpienia błędu

Wykonaj ten sam transfer dwukrotnie i zapisz rozmiar pliku źródłowego, liczbę przesłanych bajtów, procent, czas trwania, błąd klienta, błąd serwera oraz informację, czy pozostał plik częściowy. Ustal, czy błąd występuje podczas przesyłania danych, czy na etapie zmiany nazwy, obliczania sumy kontrolnej, zatwierdzania, indeksowania lub końcowego potwierdzenia przez API.

W przypadku zgłoszenia do pomocy technicznej WinSCP transfer wielokrotnie kończył się błędem przy 4 GB, aż użytkownik zidentyfikował limit rozmiaru pliku w systemie FAT32. Dokładna granica bajtów ujawniła ograniczenie pamięci masowej, a nie problem z trasowaniem SFTP lub SCP.

Jeśli liczba bajtów jest identyczna z niewielkim marginesem, w pierwszej kolejności sprawdź stałe limity i granice liczb całkowitych. Jeśli czas trwania jest identyczny, ale liczba bajtów zmienia się wraz z prędkością transferu, w pierwszej kolejności sprawdź limity czasu połączenia, serwera proxy, bezczynności lub uwierzytelniania.

Zmień prędkość transferu, aby oddzielić wpływ rozmiaru od czasu

Prześlij ten sam plik raz zwykłą ścieżką zdalną, a raz celowo wolniejszą lub szybszą. Zapisz, czy błąd występuje przy tej samej liczbie bajtów, czy po tym samym czasie.

W dyskusji o API Dropbox ustalono, że pozorne błędy przy plikach większych niż 4 GB mogły wynikać z limitu czasu żądania HTTP. Zasugerowano też pobieranie częściowe z użyciem zakresów, aby uniknąć jednego długotrwałego żądania.

Jeśli liczba przesłanych bajtów się zmienia, a czas trwania pozostaje taki sam, sprawdź czas życia sesji tunelu, limit czasu odczytu serwera proxy, wygasające tokeny i wykrywanie bezczynności. Jeśli błąd występuje przy tej samej dokładnej liczbie bajtów pomimo znacznej zmiany prędkości, sprawdź ograniczenia systemu plików, limitu miejsca, klienta i aplikacji.

Przetestuj kilka plików w pobliżu podejrzewanej granicy

Utwórz lub wybierz pliki o rozmiarze tuż poniżej, dokładnie na granicy i tuż powyżej rozmiaru, przy którym występuje błąd. Przetestuj też inny plik o takim samym rozmiarze, aby jego zawartość, nazwa, kompresja i metadane nie stały się ukrytymi zmiennymi.

Raport na forum FlashFXP opisywał transfer FTP, który zatrzymywał się dokładnie przy 4.00 GB. Granice będące potęgami liczby dwa, takie jak 2 GB, 4 GB lub 8 GB, często wskazują na ograniczenie licznika, systemu plików lub aplikacji.

Jeśli każdy plik większy od progu kończy się niepowodzeniem, sprawdź twarde limity. Jeśli nie udaje się przesłać tylko jednego pliku, porównaj długość ścieżki, znaki w nazwie pliku, obszary rzadkie, uprawnienia, błędy odczytu źródła oraz to, czy serwer inaczej przetwarza ten typ pliku.

Sprawdź docelowy system plików, limit przydziału i miejsce tymczasowe

Ustal, na jakim systemie plików znajduje się plik końcowy, a na jakim pliki tymczasowe. Sprawdź maksymalny rozmiar pliku, wolne miejsce, wolne i-węzły, limit użytkownika, limit zbioru danych, pojemność woluminu kontenera i ewentualną partycję tymczasową.

Usługa zdalna może przyjąć cały strumień do lokalizacji tymczasowej i zawieść dopiero podczas przenoszenia lub zatwierdzania pliku. Klient zgłasza wtedy błąd przy niemal 100%, mimo że przez sieć przesłano prawie wszystkie bajty.

Prześlij ten sam plik do innego udziału lub zbioru danych na tym samym NAS-ie. Jeśli limit zależy od miejsca docelowego, napraw jego system plików, limit przydziału lub przestrzeń tymczasową; jeśli zależy od klienta lub protokołu niezależnie od miejsca docelowego, szukaj przyczyny poza warstwą pamięci masowej.

Omijaj aplikację, serwer proxy lub tunel, po jednej warstwie naraz

Porównaj zwykły zdalny przepływ pracy z bezpośrednim testem protokołu: użyj SFTP zamiast przesyłania przez interfejs WWW, bezpośredniego dostępu przez VPN zamiast publicznego odwrotnego serwera proxy albo transferu przez lokalną sieć LAN zamiast zdalnego tunelu. Zachowaj to samo źródło i miejsce docelowe.

Użytkownik rclone odkrył, że duże pliki wielokrotnie zaczynały przesyłać się od nowa po długiej przerwie, aż do zmiany limitu czasu, podczas gdy serwer najwyraźniej wykonywał obliczanie sum kontrolnych po przesłaniu. Pokazuje to, dlaczego awaria pod koniec przesyłania tego samego pliku nie zawsze oznacza limit rozmiaru.

Jeśli bezpośredni transfer SFTP działa, a ścieżka przez interfejs WWW zawodzi, sprawdź limity przesyłania aplikacji i serwera proxy. Jeśli transfer lokalny działa, ale wszystkie protokoły zdalne zawodzą po takim samym czasie, sprawdź tunel, trasę przez łącze ISP, czas życia sesji i urządzenia pośredniczące.

Zweryfikuj poprawkę za pomocą testów wznawiania i sum kontrolnych

Po skorygowaniu podejrzewanego limitu ponownie prześlij pliki mniejsze i większe od starej granicy. Sprawdź, czy protokół wznawia celowo przerwany transfer i czy końcowy skrót pliku jest zgodny ze źródłem.

Przepływ pracy ZimaSpace do przygotowywania dużych transferów na NAS zapewnia bezpieczniejszy sposób ponownego testowania bez rozpoczynania wieloterabajtowego zadania od zera.

Diagnoza jest pełna dopiero wtedy, gdy wielokrotnie przekroczysz starą granicę, serwer zapisze plik, suma kontrolna będzie zgodna, a logi wskażą poprawioną warstwę. Nie akceptuj automatycznych ponowień, które maskują deterministyczną awarię i po cichu marnują przepustowość.

Wsparcie i porady

Więcej do przeczytania

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.