クロスプラットフォーム間のコピー前に大文字と小文字の違いによるファイル名の衝突を検出する方法

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

大文字・小文字を区別するファイル名の衝突を検出するには、すべての相対パスを一覧化し、転送先の比較ルールに従って各パスを正規化したうえで、同じ正規化キーになるパスをグループ化します。データをコピーする前に、すべてのグループを解決してください。

大文字・小文字を区別する Linux 共有から Windows、標準設定の macOS ボリューム、または大文字・小文字を区別しない SMB 名前空間に移行する場合、この事前チェックは不可欠です。通常のファイル数を数えるだけでは、有効なソース名が2つ、転送先では1つの名前を取り合っていることはわかりません。

ファイル名の衝突とは?

転送先で異なるソースパスが同じパスとして扱われると、衝突が発生します。クロスプラットフォームにおける大文字・小文字の区別の違いを考慮すると、Report.pdf と report.pdf は異なる扱いを受ける場合があります。ただし、比較対象にはすべてのディレクトリ要素を含める必要があります。

クロスプラットフォームの競合には、Unicode 正規化、末尾のスペースやピリオド、予約済みデバイス名、転送先で使用できない文字が関係することもあります。macOS と Linux 間でファイル名が変わる原因も、同じパス互換性の監査対象に含める必要があります。

スキャンする前に転送先を決めます。ext4、NTFS、または SMB ベースのデータセットへのコピーでは、名前の扱いが異なる場合があります。これは、クライアントによって SMB の動作が異なる理由にも関係しています。

事前チェックでは、どの種類の衝突を報告すべきですか?

衝突の種類を分類すると、対処方法を予測しやすくなります。大文字・小文字のみが異なる名前は通常、名前の変更で対処できますが、Windows の予約名では名前の変更に加えて、アプリケーション内の参照先の更新が必要になる場合があります。

衝突の種類 例 コピーが安全でない理由
大文字・小文字のみの違い Photo.jpg および photo.jpg 大文字・小文字を区別しない転送先では、名前が1つに統合されます
ディレクトリ名の大文字・小文字の違い Client/A と client/A サブツリー全体が統合される場合があります
Unicode 正規化 見た目が同じでも、合成形式と分解形式では名前が異なります macOS とネットワーク層では、異なる方法で正規化される場合があります
削除される文字 notes と notes. Windows の一部のパスでは、末尾のピリオドやスペースが無視されます
予約名 CON.txt 転送先 API が作成を拒否する場合があります

レポートでは、元のバイト列レベルのパスを保持し、読みやすい形式でも表示します。そうしないと、見た目が同じUnicode名が、別々のソース項目ではなく重複した行のように見えることがあります。

信頼できるソースインベントリの作成方法

ソースのファイルシステム上で、または移行に使用するものと同じプロトコルを通じて、インベントリを作成します。スペース、タブ、改行、非ASCII文字を安全に扱える形式で相対パスを書き出します。

衝突するディレクトリ名が何千もの影響を受けるファイルを隠してしまう可能性があるため、ディレクトリも含めます。名前を変更した項目を追跡できるよう、利用可能な場合はオブジェクトの種類、サイズ、更新日時、安定した識別子を記録します。

最終スキャンの前に書き込みを停止するか、スナップショットを取得します。インベントリの作成後、コピー前に名前が変わると、移行前の確認結果が古くなることがあります。

比較のためにパスを正規化する方法

まず、移行先の大文字小文字の扱いを確認します。報告用に元のパスを保持したまま、小文字化したキーまたはケースフォールドしたキーを比較します。この段階では、ソースの名前を自動的に変更しないでください。

次に、移行先固有のルールを追加します。Unicodeの正規化、区切り文字の扱い、使用禁止文字、末尾の切り詰め、パス長の制限、予約名などです。移行先より強く正規化すると誤検出が発生する可能性があり、逆に弱い正規化では破壊的な衝突を見逃す恐れがあります。

すべてのパス構成要素に正規化を適用します。ベース名が異なる2つのファイルでも、親ディレクトリが同じ正規化済みパスに集約されると衝突します。

Linux、macOS、Windowsで実行できること

LinuxまたはmacOSでは、スクリプトでヌル文字区切りのパスを読み込み、移行先用のキーを計算し、そのキーで並べ替えて、元のパスが複数あるグループを報告できます。大文字小文字を問わず重複するファイル名を見つけるための公開されている手法はグループ化のロジックを示していますが、複数の言語が混在するアーカイブでは、Unicodeを明示的に処理する必要があります。

find /source -print0 | python3 collision_scan.py --target windows

Windowsでは、PowerShellを使って相対パスを列挙し、序数ベースの大文字小文字を区別しない比較子でグループ化できます。意図したすべてのディレクトリを参照できるアカウントで、ソース共有に対して実行してください。

Get-ChildItem -LiteralPath '\\NAS\Source' -Recurse -Force |
  ForEach-Object { $_.FullName.Substring($root.Length).ToLowerInvariant() } |
  Group-Object | Where-Object Count -gt 1

これらの例はグループ化のモデルを示すものであり、あらゆるスキャナーに当てはまるものではありません。本番環境でのチェックでは、元の情報を保持し、アクセスできないパスに対応するとともに、対象の命名ルールを完全に実装する必要があります。

衝突グループはどのように解決すればよいですか?

データ所有者と正規の名前を決めてから、他のパスにはプロジェクトコード、日付、ソースシステムのタグなど、一貫性のある接尾辞を付けてください。一貫したホームサーバーの命名ルールは、場当たり的な接尾辞を避けるのに役立ちます。

  1. 衝突グループと、それを管理する部門またはアプリケーションをエクスポートしてください。
  2. 正規の表記を保つパスを選択してください。
  3. ソースまたはステージングコピー上で、競合するパスの名前を変更してください。
  4. 参照しているプレイリスト、データベース、ショートカット、スクリプト、マニフェストを更新してください。
  5. ブロック対象のグループがなくなるまで、スキャン全体を再実行してください。

コピー ツールが上書きの順序を暗黙に決めることを許さないでください。両方のファイルの内容が同一でも、名前を暗黙に統合すると、元の名前空間を示す情報が失われます。

コピーによってパスが統合されていないことを確認するには?

修正後、コピー前のマニフェストを取得し、同じ相対パスのルールで宛先のマニフェストを生成します。正規化したパスの集合、オブジェクト数、サイズ、重要ファイルのコンテンツハッシュを比較してください。

コピーのログで、「すでに存在します」、名前変更、スキップ、無効な名前、上書きの各イベントを確認してください。ツールによっては、終了コードが0でもパスがスキップされていることがあります。

ユーザーがアプリケーションの動作を検証するまで、ソースは読み取り専用のままにしてください。名前空間の互換性には、ファイルデータの存在だけでなく、リンクや参照も含まれます。

よくある質問

Linuxでは、大文字と小文字だけが異なる2つのファイル名を共存させられますか?

一般的な大文字と小文字を区別するLinuxファイルシステムでは、通常は問題ありません。ただし、大文字と小文字を区別しない宛先にコピーする場合や、異なる設定のサービス経由で公開する場合には、衝突する可能性があります。

すべてのファイル名を小文字に変換すれば、安全に解決できますか?

いいえ。一括で小文字に変換すると、新たな衝突が起きたり、参照が壊れたりする可能性があります。まずグループを検出してから、確認済みの一貫したルールに基づいて名前を変更してください。

チェックサムでファイル名の衝突を検出できますか?

チェックサムが比較するのはコンテンツであり、名前空間上の識別情報ではありません。異なるパスのコンテンツは同一の場合も異なる場合もありますが、いずれも同じ宛先名を奪い合う可能性があります。

安全なクロスプラットフォームコピーでは、すべてのソースパスが一意で有効な宛先パスに対応することを検証します。ファイルの上書きによって衝突に気づくのではなく、転送前に検証してください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.