同じファイルサイズで失敗するリモートファイル転送を追跡する方法

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

転送が毎回同じバイト数で失敗する場合、ランダムなパケット損失ではなく、決定論的な制限や転送後の処理に行き当たっていることがほとんどです。

リモートNASやセルフホストのファイルサービスでは、目に見える失敗の発生箇所は、宛先のファイルシステム、空き容量やクォータの適用、アプリケーションのアップロード上限、リバースプロキシ、32ビットのクライアントカウンター、接続の固定有効期間、またはペイロード到着後のチェックサム処理が原因である可能性があります。最も手早く原因を特定するには、正確なバイトオフセットと経過時間を記録し、その後、ファイルサイズ、転送速度、プロトコル、宛先を一度に1つずつ変更します。

正確なバイトオフセットと失敗した処理段階を記録する

同じ転送を2回実行し、ソースのサイズ、転送済みバイト数、割合、経過時間、クライアントのエラー、サーバーのエラー、部分ファイルが残っているかどうかを記録します。ペイロードの転送中に起きた失敗と、名前変更、チェックサム、確定処理、インデックス作成、APIによる最終確認中に起きた失敗を区別します。

WinSCPのサポート事例では、ユーザーがFAT32のファイルサイズ制限を特定するまで、4 GBで繰り返し失敗していました。この正確なバイト境界が示していたのは、SFTPやSCPの経路の問題ではなく、ストレージの制約でした。

バイト数がわずかな差の範囲で同じなら、固定制限や整数境界を優先して調べます。経過時間が同じで、転送速度に応じてバイト数が変わるなら、接続、プロキシ、アイドル状態、認証のタイムアウトを優先して調べます。

転送速度を変えてサイズと時間を切り分ける

同じファイルを通常のリモート経路と、意図的に遅くした経路または速くした経路で、それぞれ転送します。失敗が同じバイト数で起きるか、同じ経過時間で起きるかを記録します。

Dropbox APIの議論では、4 GBを超えるように見えるファイルの失敗は、実際にはHTTPリクエストのタイムアウトが原因の可能性があると判明し、1回の長時間リクエストを避けるために範囲指定による分割ダウンロードが提案されました。

バイト数が変わっても経過時間が一定なら、トンネルのセッション有効期間、プロキシの読み取りタイムアウト、トークンの有効期限、アイドル検出を調べます。転送速度を大きく変えても失敗するバイト数がまったく同じなら、ファイルシステム、クォータ、クライアント、アプリケーションの制限を調べます。

疑わしい境界付近の複数のファイルをテストする

失敗するサイズの直前、ちょうどそのサイズ、直後のファイルを作成するか選択します。また、内容、ファイル名、圧縮、メタデータが隠れた変数にならないよう、同じサイズの別のファイルでもテストします。

FlashFXPのフォーラム投稿では、FTP転送がちょうど4.00 GBで停止したと報告されています。2 GB、4 GB、8 GBなど、2の累乗の境界では、カウンター、ファイルシステム、アプリケーションの制限が原因であることがよくあります。

しきい値を超えるすべてのファイルが失敗する場合は、ハードリミットを調べてください。1つのファイルだけが失敗する場合は、パスの長さ、ファイル名の文字、スパース領域、アクセス権限、ソースの読み取りエラー、そのファイル形式がサーバー側で異なる処理を受けるかどうかを比較してください。

宛先のファイルシステム、クォータ、一時領域を確認する

最終ファイルが保存されるファイルシステムと、一時アップロードが保存されるファイルシステムを特定します。最大ファイルサイズ、空きバイト数、空きinode数、ユーザークォータ、データセットのクォータ、コンテナボリュームの容量、一時領域のパーティションを確認してください。

リモートサービスは、ストリーム全体を一時領域に受け取り、ファイルの移動または確定時にだけ失敗することがあります。この場合、ネットワーク経路でほぼすべてのバイトが届いていても、クライアントには転送率がほぼ100%の時点でエラーが表示されます。

同じNAS上の別の共有フォルダーまたはデータセットに同じファイルを転送します。制限が宛先について回る場合は、ファイルシステム、クォータ、またはステージング領域を修正してください。宛先を変えてもクライアントまたはプロトコルについて回る場合は、ストレージレイヤー以外を調べ続けてください。

アプリ、プロキシ、トンネルを一度に1レイヤーずつ迂回する

通常のリモートワークフローと、直接プロトコルでのテストを比較します。WebアップロードではなくSFTP、公開リバースプロキシではなくVPNへの直接アクセス、リモートトンネルではなくローカルLAN転送を試します。ソースと宛先のストレージは同じものを使ってください。

あるrcloneユーザーは、タイムアウトを変更するまで長い待機の後に大容量アップロードが繰り返し最初から再開され、サーバーではアップロード後のチェックサム処理が行われているように見えたと報告しています。これは、同じファイルの終盤で発生した失敗でも、必ずしもバイト数の上限によるものではないことを示しています。

SFTPでは成功するのにWeb経由では失敗する場合は、アプリケーションとプロキシのアップロード制限を調べてください。ローカル転送は成功するのに、すべてのリモートプロトコルが同じ経過時間で失敗する場合は、トンネル、ISP経路、セッションの有効期間、中間機器を調べてください。

再開とチェックサムのテストで修正を検証する

疑わしい制限を修正した後、古い境界より小さいファイルと大きいファイルで再テストします。意図的に中断した転送がプロトコルによって再開されるか、最終ファイルのハッシュがソースと一致するかを確認してください。

大容量NAS転送をステージングするZimaSpaceのワークフローを使えば、数テラバイトのジョブを最初からやり直さずに、より安全に再テストできます。

古い境界を繰り返し超え、サーバーがファイルを確定し、チェックサムが一致し、ログで修正されたレイヤーを特定できて初めて、診断は完了です。決定論的な失敗を隠し、帯域幅をひそかに浪費する自動再試行は受け入れないでください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.