Een overdracht die herhaaldelijk bij hetzelfde aantal bytes mislukt, stuit doorgaans op een deterministische limiet of een stap na de overdracht, niet op willekeurig pakketverlies.
Bij een externe NAS of zelfgehoste bestandsdienst kan het zichtbare foutpunt worden veroorzaakt door het bestandssysteem van de bestemming, de handhaving van vrije ruimte of quota, een uploadlimiet van de toepassing, een reverseproxy, een 32-bits clientteller, een vaste verbindingsduur of checksumverwerking nadat de gegevens zijn aangekomen. De snelste diagnose noteert de exacte bytepositie en verstreken tijd en wijzigt vervolgens één variabele tegelijk: bestandsgrootte, overdrachtssnelheid, protocol of bestemming.
Noteer de exacte bytepositie en de fase waarin de fout optreedt
Voer dezelfde overdracht twee keer uit en noteer de bestandsgrootte van de bron, de overgedragen bytes, het percentage, de verstreken tijd, de clientfout, de serverfout en of er een gedeeltelijk bestand achterblijft. Onderscheid een fout tijdens de gegevensoverdracht van een fout tijdens het hernoemen, de checksumcontrole, het vastleggen, indexeren of de laatste API-bevestiging.
Een supportgeval bij WinSCP bleef bij 4 GB mislukken totdat de gebruiker een bestandslimiet van FAT32 ontdekte. De exacte bytegrens bracht een opslagbeperking aan het licht, geen probleem met de routering via SFTP of SCP.
Als het aantal bytes binnen een kleine marge hetzelfde is, geef dan prioriteit aan vaste limieten en grenzen van gehele getallen. Als de verstreken tijd hetzelfde is, maar het aantal bytes verandert met de overdrachtssnelheid, geef dan prioriteit aan time-outs voor verbindingen, proxy's, inactiviteit of authenticatie.
Wijzig de overdrachtssnelheid om grootte en tijd van elkaar te onderscheiden
Zet hetzelfde bestand één keer over via de gebruikelijke externe route en één keer via een opzettelijk tragere of snellere route. Noteer of de fout optreedt bij hetzelfde aantal bytes of na dezelfde tijdsduur.
Uit een discussie over de Dropbox API bleek dat bestanden die boven 4 GB leken te mislukken, in werkelijkheid het gevolg konden zijn van een HTTP-time-out voor aanvragen. Er werden gedeeltelijke downloads op basis van bytebereiken voorgesteld om één lange aanvraag te vermijden.
Wanneer het aantal bytes oploopt maar de verstreken tijd stabiel blijft, controleer dan de levensduur van tunnelsessies, de time-out voor proxy-reads, tokens die verlopen en detectie van inactiviteit. Blijft de fout optreden bij exact dezelfde bytewaarde ondanks een grote snelheidsverandering, controleer dan verder de bestandssysteem-, quota-, client- en toepassingslimieten.
Test meerdere bestanden rond de vermoedelijke grens
Maak of selecteer bestanden die net onder, precies op en net boven de mislukte grootte liggen. Test ook een ander bestand met dezelfde grootte, zodat inhoud, bestandsnaam, compressie en metagegevens geen verborgen variabelen worden.
Een FlashFXP-forumrapport beschreef een FTP-overdracht die precies stopte bij 4,00 GB. Grenzen van machten van twee, zoals 2 GB, 4 GB of 8 GB, wijzen vaak op een teller-, bestandssysteem- of toepassingslimiet.
Als elk bestand boven de drempel mislukt, controleer dan de harde limieten. Als slechts één bestand mislukt, vergelijk dan de padlengte, tekens in de bestandsnaam, sparse-regio's, machtigingen, leesfouten in de bron en of de server bestanden van dat type anders verwerkt.
Controleer het bestandssysteem van de bestemming, de quota en de tijdelijke opslagruimte
Stel vast op welk bestandssysteem het uiteindelijke bestand staat en op welk bestandssysteem tijdelijke uploads worden opgeslagen. Controleer de maximale bestandsgrootte, de beschikbare bytes en inodes, de gebruikersquota, de datasetquota, de capaciteit van het containervolume en elke tijdelijke partitie.
Een externe dienst kan de volledige gegevensstroom naar een tijdelijke locatie overbrengen en pas fouten geven wanneer het bestand wordt verplaatst of opgeslagen. Daardoor kan de client een fout melden wanneer de overdracht bijna 100 procent voltooid is, ook al heeft de netwerkverbinding bijna alle bytes afgeleverd.
Draag hetzelfde bestand over naar een andere gedeelde map of dataset op dezelfde NAS. Volgt de limiet de bestemming, los dan problemen met het bestandssysteem, de quota of de tijdelijke opslagruimte op. Volgt de limiet de client of het protocol, ongeacht de bestemming, zoek dan verder buiten de opslaglaag.
Omzeil de app, proxy of tunnel, laag voor laag
Vergelijk de gebruikelijke externe workflow met een rechtstreekse protocoltest: SFTP in plaats van upload via het web, rechtstreekse VPN-toegang in plaats van een openbare reverseproxy, of een overdracht via het lokale LAN in plaats van de externe tunnel. Gebruik dezelfde bron- en doelopslag.
Een rclone-gebruiker merkte dat grote uploads na een lange pauze telkens opnieuw begonnen, totdat de time-out werd aangepast. Ondertussen leek de server na de upload de controlesom te berekenen. Dit laat zien waarom een fout aan het einde van hetzelfde bestand niet altijd door een limiet op de bestandsgrootte wordt veroorzaakt.
Als SFTP rechtstreeks werkt, maar de webroute niet, controleer dan de uploadlimieten van de applicatie en proxy. Als een lokale overdracht werkt, maar elk extern protocol na precies dezelfde verstreken tijd faalt, controleer dan de tunnel, de route via de internetprovider, de sessieduur en tussenliggende netwerkapparatuur.
Valideer de oplossing met tests voor hervatten en controlesommen
Nadat je de vermoedelijke limiet hebt aangepast, herhaal je de test met bestanden onder en boven de oude grens. Test of het protocol een opzettelijk onderbroken overdracht kan hervatten en of de hash van het uiteindelijke bestand overeenkomt met die van de bron.
De ZimaSpace-workflow voor het klaarzetten van grote NAS-overdrachten biedt een veiligere manier om opnieuw te testen zonder een klus van meerdere terabytes vanaf nul te moeten herstarten.
De diagnose is pas compleet wanneer de oude grens herhaaldelijk wordt overschreden, de server het bestand opslaat, de controlesom overeenkomt en de logs aangeven welke laag is gecorrigeerd. Accepteer geen automatische nieuwe pogingen die een deterministische fout verhullen en ongemerkt bandbreedte verspillen.
Ondersteuning en tips
Meer om te lezen

How to Keep Adult Videos on Your NAS Hidden from Family Members
Keep adult videos private on a family NAS. Check folder permissions, Plex and Jellyfin library access, thumbnails, watch history, shared TV logins and DLNA.

Wat je moet controleren voordat je een communitymodel in Transformers laadt
Gebruik de Transformers Jinja-sandboxupdate om de herkomst van modellen, chatsjablonen, externe code, geserialiseerde gewichten en geïsoleerde eerste uitvoeringen te controleren.

Voer Mirage lokaal uit: OCR en objectdetectie vanuit één afbeelding
Probeer het kleine lokale visiemodel van Cactus Compute, test OCR en objectextractie met echte invoer en krijg inzicht in de beperkingen op het gebied...



