Come tracciare un trasferimento di file remoto che si interrompe sempre alla stessa dimensione del file

Eva Wong è la redattrice tecnica e appassionata di tecnologia di ZimaSpace. Geek da sempre, appassionata di homelab e software open source, è specializzata nel tradurre concetti tecnici complessi in guide pratiche. Eva crede che l’hosting autonomo debba essere divertente, non intimidatorio. Attraverso i suoi tutorial, aiuta la community a comprendere meglio le configurazioni hardware, dalla costruzione del primo NAS alla padronanza dei container Docker.

Un trasferimento che si interrompe ripetutamente allo stesso numero di byte raggiunge di solito un limite deterministico o una fase successiva al trasferimento, anziché essere vittima di una perdita casuale di pacchetti.

In un NAS remoto o in un servizio di file self-hosted, il punto in cui si manifesta l'errore può dipendere dal file system di destinazione, dallo spazio libero o dall'applicazione delle quote, da un limite di caricamento dell'applicazione, da un proxy inverso, da un contatore a 32 bit del client, dalla durata fissa della connessione o dal calcolo del checksum dopo la ricezione dei dati. Il modo più rapido per diagnosticare il problema consiste nel registrare l'offset esatto in byte e il tempo trascorso, quindi modificare una variabile alla volta: dimensione del file, velocità di trasferimento, protocollo e destinazione.

Registra l'offset esatto in byte e la fase in cui si verifica l'errore

Esegui due volte lo stesso trasferimento e annota la dimensione del file sorgente, i byte trasferiti, la percentuale, la durata, l'errore del client, l'errore del server e se resta un file parziale. Distingui gli errori durante il trasferimento dei dati da quelli durante la rinomina, il calcolo del checksum, il commit, l'indicizzazione o la conferma finale tramite API.

In un caso del supporto WinSCP, il trasferimento si interrompeva ripetutamente a 4 GB, finché l'utente non ha individuato un limite di dimensione dei file di FAT32. La soglia esatta in byte rivelava un vincolo di archiviazione, non un problema di instradamento SFTP o SCP.

Se il numero di byte è identico con uno scarto minimo, dai la priorità ai limiti fissi e alle soglie basate su potenze di due. Se la durata è identica ma il numero di byte cambia con la velocità di trasferimento, dai la priorità ai timeout di connessione, proxy, inattività o autenticazione.

Modifica la velocità di trasferimento per separare la dimensione dal tempo

Trasferisci lo stesso file una volta usando il normale percorso remoto e un'altra volta usando un percorso intenzionalmente più lento o più veloce. Segna se l'errore si verifica allo stesso numero di byte o dopo la stessa durata.

In una discussione sull'API di Dropbox è emerso che i file che sembravano non riuscire a essere scaricati oltre i 4 GB potevano invece essere vittime di un timeout della richiesta HTTP. È stato suggerito di usare download parziali basati su intervalli per evitare una singola richiesta molto lunga.

Se il numero di byte trasferiti cambia, ma il tempo trascorso resta stabile, controlla la durata della sessione del tunnel, il timeout di lettura del proxy, i token in scadenza e il rilevamento dell'inattività. Se il problema si verifica sempre allo stesso valore esatto in byte anche quando la velocità cambia molto, prosegui verificando i limiti del file system, delle quote, del client e dell'applicazione.

Prova più file intorno alla soglia sospetta

Crea o seleziona file appena al di sotto, esattamente alla soglia e appena al di sopra della dimensione che causa il problema. Prova anche un altro file della stessa dimensione, così contenuto, nome del file, compressione e metadati non diventano variabili nascoste.

Un report sul forum di FlashFXP descriveva un trasferimento FTP interrotto esattamente a 4.00 GB. Limiti come 2 GB, 4 GB o 8 GB, corrispondenti a potenze di due, spesso indicano un limite del contatore, del file system o dell'applicazione.

Se tutti i file sopra la soglia non vengono trasferiti, controlla i limiti rigidi. Se non viene trasferito un solo file, confronta la lunghezza del percorso, i caratteri nel nome del file, le aree sparse, i permessi, gli errori di lettura dell'origine e verifica se l'elaborazione lato server tratta diversamente quel tipo di file.

Controlla il filesystem di destinazione, la quota e lo spazio temporaneo

Individua il filesystem che ospita il file finale e quello che ospita i caricamenti temporanei. Controlla la dimensione massima dei file, i byte disponibili, gli inode liberi, la quota utente, la quota del dataset, la capacità del volume del container e le partizioni di preparazione.

Un servizio remoto può accettare l'intero flusso in una posizione temporanea e non riuscire solo quando sposta o salva il file. Il client mostra un errore vicino al 100%, anche se il percorso di rete ha trasmesso quasi tutti i byte.

Trasferisci lo stesso file in un'altra condivisione o in un altro dataset sullo stesso NAS. Se il limite dipende dalla destinazione, correggi il filesystem, la quota o lo spazio di preparazione; se dipende dal client o dal protocollo anche cambiando destinazione, prosegui al di fuori del livello di archiviazione.

Escludi app, proxy o tunnel, un livello alla volta

Confronta il normale flusso di lavoro remoto con un test diretto del protocollo: SFTP invece di un caricamento web, accesso VPN diretto invece di un proxy inverso pubblico oppure trasferimento sulla LAN invece che tramite il tunnel remoto. Mantieni invariati lo spazio di archiviazione di origine e quello di destinazione.

Un utente di rclone ha notato che i caricamenti di grandi dimensioni ricominciavano ripetutamente dopo una lunga pausa, finché non ha modificato il timeout, mentre il server sembrava eseguire operazioni di checksum dopo il caricamento. Questo dimostra perché un errore alla fine del trasferimento dello stesso file non è sempre dovuto a un limite di dimensione.

Se SFTP diretto funziona mentre il percorso web non funziona, controlla i limiti di caricamento dell'applicazione e del proxy. Se il trasferimento locale funziona ma tutti i protocolli remoti falliscono dopo lo stesso intervallo di tempo, controlla il tunnel, il percorso dell'ISP, la durata della sessione e i dispositivi intermedi.

Verifica la correzione con test di ripresa e checksum

Dopo aver corretto il limite sospetto, ripeti il test con file al di sotto e al di sopra del vecchio limite. Verifica se il protocollo riprende un trasferimento interrotto intenzionalmente e se l'hash del file finale corrisponde a quello del file di origine.

Il flusso di lavoro di ZimaSpace per preparare trasferimenti di grandi dimensioni verso un NAS offre un modo più sicuro per ripetere i test senza ricominciare da zero un trasferimento di diversi terabyte.

La diagnosi è completa solo quando il vecchio limite viene superato più volte, il server salva il file, il checksum corrisponde e i log indicano il livello corretto. Non accettare tentativi automatici che nascondono un errore deterministico e sprecano banda senza segnalarlo.

Assistenza e consigli

Altre letture

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.