電源喪失によってデータベースコンテナが破損したときの兆候とは?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

データベースが通常のクラッシュリカバリを完了できない場合、またはその後にチェックサム、ページ、ログシーケンス、テーブル、インデックスの不整合が報告された場合は、破損を疑ってください。

異常終了したからといって、データベースが自動的に破損しているとは限りません。PostgreSQL、MySQL、MariaDBなどのエンジンは、コミット済みの状態を復旧するために、ジャーナルや先行書き込みログを使用します。リカバリが繰り返される、エンジンが終了する、同じクエリで無効ページエラーが起きる、チェックサム検証に失敗する、テーブルが消える、インデックスとテーブルのデータが一致しない、またはバックアップや整合性チェックでクラスタを一貫して読み取れない場合は、警戒が必要です。

通常のクラッシュリカバリとリカバリループを見分ける

電源復旧後、最初の起動ログを保全してください。エンジンがログを一度だけ再生して正常に起動するのか、再起動を繰り返すのか、強制リカバリに入るのか、同じレコードやページで停止するのかを記録します。

InnoDBは、書き込みの中断後に半端に書き込まれた可能性のあるページを復元したと報告することがあります。このメッセージは、エンジンが安全なクラッシュリカバリを試みていることを示しますが、失敗が繰り返される場合は、停電後のInnoDBエラーが発生している可能性があります。

一度復旧に成功し、その後のチェックで異常がなかったとしても、破損がない証拠にはなりません。ループ、致命的なアサーション、シグナルの繰り返し、またはready状態に到達できない場合は、それ以上の書き込みが発生する前に、ファイルをそのままコピーし、バックアップをテストする必要があります。

チェックサムエラーと無効ページエラーを確認する

ログでchecksum mismatch、page verification failed、invalid page in block、corrupt page、short read、bad magic number、unexpected end-of-fileを検索します。記録されたリレーション、テーブル、ブロック、またはテーブルスペースを控えてください。

pganalyzeは、PostgreSQLの破損がページチェックサムエラーとして現れ、破損したブロックの読み取り時に無効ページエラーが続いて発生することを示しています。

証拠を保全し、バックアップの範囲を確認する前に、エラーを無視したり破損ページをゼロで上書きしたりしないでください。再起動後も同じブロックでエラーが発生するほうが、一度きりのアプリケーションのタイムアウトよりも強い証拠になります。

特定の行やテーブルだけで失敗するクエリに注意する

アプリケーションが通常使用するテーブルやクエリに対して、読み取り専用のチェックを実行します。スキャン、バキューム、バックアップ、またはリクエストによって破損したページにアクセスするまで、破損が表面化しないことがあります。

PostgreSQLの分析によると、チェックサムの不一致はデータベースより下位層の問題を示唆します。一方、チェックサム警告を伴わない無効ページは、ストレージ、メモリ、ファイルシステム、または誤操作によるファイル破損が原因の場合もあります。実際に起きる症状は、通常のクエリ実行中に同じ無効ページの読み取りエラーが繰り返し発生することです。

失敗するクエリとオブジェクトを正確に記録してください。データベースの一部しか読み取れない状態でアプリケーションに広範な書き込みを続けさせないでください。新たな状態によって復旧やバックアップが複雑になるおそれがあります。

インデックス、トランザクション、メタデータの不整合を確認する

警告の兆候には、一意インデックスに反する重複キー、あるアクセス経路では取得できるのに別の経路では見つからない行、無効なトランザクションID、破損したTOASTや大きな値のチャンク、検証に失敗するインデックスなどがあります。

Credativの破損に関するレビューによると、データチェックサムのないクラスターでは、無効なページ、トランザクションIDの問題、TOASTの不整合、バックエンドのクラッシュなど、低レベルのエラーによって損傷が表面化することがあります。一部のファイルコピー方式のバックアップでは、破損したページが検出されずに保存されることがあります。

コピー上、または管理されたメンテナンス時間帯に、サポートされている整合性チェックとインデックスチェックを実行してください。再インデックスで損傷した派生インデックスを修復できることはありますが、テーブルデータの破損やストレージ基盤の障害は修復できません。

データベースエラーとファイルシステムおよびストレージの警告を照合する

障害発生前後のホストのカーネル、ファイルシステム、プール、ドライブ、コントローラー、UPS、コンテナランタイムのログを調べてください。I/Oエラー、リセット、チェックサムエラー、読み取り専用での再マウント、プールの劣化、ファイルの消失や切り詰めがないか確認します。

あるデータベース復旧ガイドによると、停電やメモリ障害により、特にストレージの動作がデータベースの耐久性に関する前提と一致しない場合、破損したページ書き込みが発生する可能性があります。こうしたホストレベルの事象は、InnoDBページの破損と通常のアプリケーション再起動とを見分ける手がかりになります。

クリーンなデータベースを復元する前に、ストレージの経路を修復してください。障害のあるメディアへの論理復元に成功しても、インシデントが再発したり、交換先が気付かないうちに損傷したりする可能性があります。

書き込みを停止し、クリーンなバックアップからの復旧を確認する

破損の兆候が繰り返し現れる場合は、依存するアプリケーションを停止し、安全であれば影響を受けたボリュームのスナップショットまたはクローンを作成して、ログと設定を保全してください。元のクラスターを変更する前に、最新のバックアップを別のストレージでテストしてください。

ZimaSpaceのDockerアプリケーションの状態のバックアップチェックリストでは、破壊的なデータベース復旧を試みる前に必要なものを定めています。

復元したデータベースが正常に起動し、整合性チェックに合格し、代表的なクエリと書き込みが成功し、バックアップが完了し、ホストストレージで新たなエラーが報告されない場合に限り、システムは信頼できると言えます。強制リカバリーモードは、通常運用ではなく、文書化された復旧計画に基づくデータ救出に使用してください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.