RAIDの再構築中にI/Oエラーが増加している場合の対処法

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

NASの再構築中にI/Oエラーが増え続ける場合は、書き込みを減らし、稼働中のメンバーまたは接続経路が不安定なものとして扱ってください。進捗率が上がっていても、読み取り失敗の増加を無視して安全ということにはなりません。

直ちに目指すべきは、読み取り可能なデータを保全し、エラーの原因がメディア障害、リンクのリセット、ターゲットの不良のいずれかを特定することです。ログとシリアル番号を保存し、バックアップの状態を確認してください。ソースの状態が悪化している間、再構築を繰り返し再起動するのは避けましょう。

エラーの増加は進捗バーよりも重要

再構築率でわかるのは、ターゲットのどれだけが処理されたかです。ソースの読み取りがすべて成功したかどうかはわかりません。読み取り、書き込み、チェックサム、メディア、コマンドタイムアウトの各累積カウンターを定期的に比較します。

エラーも増加するなかで再構築が進んでいる場合、アレイは大半のブロックを再構築できていても、特定の領域で失敗している可能性があります。RAIDレベル上、そのブロックのコピーがほかに残っていない場合、ソースの読み取りに一度失敗するだけでも、何千回もの読み取り成功より重大な意味を持つことがあります。

エラーを発生させているデバイスを特定する

すべてのログ識別子を物理シリアル番号に対応付けます。エラーが、以前から稼働しているメンバー、新しいターゲット、共有コントローラーの経路のどこから発生しているかを特定します。ターゲットの書き込みエラーとソースの読み取りエラーでは、必要な判断が異なります。

ドライブの健全性データは、調査の優先順位付けに役立ちます。Backblazeが運用で使用する5つのSMART警告属性では、単一の総合的な健全性ラベルに頼らず、再割り当て、訂正不能、タイムアウト、保留中、オフライン訂正不能の各指標に注目します。

メディアエラーとリンクエラーを切り分ける

保留中のセクターや訂正不能セクターは、メディアが読み取れない可能性を示します。UDMA CRCエラーの増加、転送のリセット、繰り返される切断は、ケーブル、バックプレーン、ブリッジ、電源、またはコントローラーの経路に問題があることを示す場合が多いです。どちらも再構築を中断させる可能性がありますが、ディスクを交換しても共有リンクの問題は解決しません。

UDMA CRCエラーカウントの解説では、インターフェースの転送エラーとプラッターの損傷を区別しています。生のカウント値を保存し、接続に関する要因を1つだけ修正して、カウンターが増え続けるかどうかを確認してください。

失敗する再構築を何度も再起動しない

再起動のたびに残存メンバーを最初から読み取り直すため、より良い結果につながらないまま、同じ弱い領域に負荷をかけることがあります。同じアドレス付近で処理が繰り返し中断したり、2台目のドライブが切断されたりする場合は、通常の修復を試みるのをやめてください。

ソースエラーによって再構築が阻まれると、根本的な限界が明らかになります。唯一の正常なソースで回復不能な読み取りエラーが発生すると、アレイには不足しているデータを取得できる場所がありません。強制オプションを使っても、内容不明のデータを復元することはできません。

続行、コピー、イメージ作成のどれを選ぶか

状態 推奨される対応 理由
エラーは安定、再構築は進行中 負荷を下げて監視 復旧は正常に完了する可能性がある
リンクエラーは増加、メディアは安定 ケーブル/ベイ/コントローラーの経路を安定させる ドライブ以外に障害がある可能性
メディアエラーが増加している 読み取り可能な重要データを先にコピー 残存する冗長性が低下している
同じ範囲で繰り返し中断する 根拠のない再構築の再試行を停止 読み取り不能領域が継続している
2台目のメンバーが切断される、または故障する イメージ作成/復旧の手順を検討 アレイが耐障害性の上限を超える可能性

データがかけがえのないもので、バックアップが検証されていない場合は、自動再構築を続けるより、読み取り可能なメンバーのイメージを作成するほうが安全なことがあります。復旧を重視する再構築中に2台目のドライブが故障した場合の手順では、残存メンバーが不安定なときに、書き込み負荷の高い修復を試みないことが重要です。

インシデントの状況を隠さずに、フォアグラウンドの処理を減らす

バックアップ、メディアのインデックス作成、ダウンロード、仮想マシンなど、不要な書き込みを伴う処理を停止してください。重要なデータのコピーやアレイの監視に必要なサービスだけを稼働させます。負荷を下げると、キューの滞留を抑え、エラーの発生タイミングを把握しやすくなります。

証拠を記録する前に、ログの消去、SMARTカウンターのリセット、繰り返しの再起動はしないでください。再起動するとデバイス名が変わったり、どのメンバーが最初に故障したかを示す順序が失われたりすることがあります。

電源を切る前に記録する項目

  • アレイの状態、RAIDレベル、メンバーの役割、再構築対象、正確な進捗カウンター
  • すべてのディスクのモデル、シリアル番号、ベイ、コントローラーポート、現在のデバイス識別子
  • 最初の障害から最新のI/Oエラーまでのカーネルまたはコントローラーのイベント
  • SMARTの生の値(メディアエラー、タイムアウト、温度、インターフェースエラー)
  • 読み取り不能なファイルまたはブロック範囲の一覧と、最新の検証済みバックアップの状態

この記録があれば、どのメンバーに最新のデータがあったかを推測せずに、ケーブルの検証、ディスク交換、クローン作成、または専門家による復旧を管理された手順で進められます。

対応後も安定していることを確認する

ケーブルの交換、シリアル番号を確認済みのディスクの移動、またはワークロードの軽減後は、該当する比較基準値だけをリセットし、再発を監視してください。一時的な改善だけでは、根本的な障害が解消した証拠にはなりません。

アレイのリカバリーが完了し、全メンバーが復帰し、その後の整合性チェックで新たなI/Oエラーが発生しないことを確認してください。通常の代表的なワークロードでこの3つすべてを満たすまでは、インシデントを安全にオープンのままにし、取得したログを保管してください。

よくある質問

エラーが数件だけなら、再構築を完了させてもよいですか?

エラーの原因が把握され、状態が安定しており、データのバックアップがある場合に限ります。ソースディスクの読み取りエラーの増加やリセットの繰り返しは、再構築の進捗率が上がり続けていても、対応を強化すべき兆候です。

SMARTのカウントが最も高いディスクを交換すべきですか?

必ずしもそうとは限りません。エラーがそのシリアル番号のディスクに追従するのか、ベイや接続経路に残るのかを確認してください。縮退運転中に誤ったメンバーを交換すると、残っている有効なソースを破壊するおそれがあります。

再構築が完了しても、ファイルが破損していることはありますか?

はい。実装によっては、回復不能セクターや影響を受けたファイルを報告しながら再構築が完了する場合があります。最終的なエラーレポートを必ず確認し、アレイが安定した状態に戻った後で整合性チェックを実行してください。

停止条件

再構築中にI/Oエラーが増加したら、完了を急ぐ前に読み取り可能なデータを保護してください。残りのすべてのブロックを供給できるほど、ソース構成と接続経路が安定していることを確認してから続行してください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.