アプリはまだ開けるのに、なぜコンテナのヘルスチェックに失敗するのですか?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

プローブがブラウザーで使う経路とは異なるコマンド、アドレス、ユーザー、または準備完了条件をテストしているため、ヘルスチェックに失敗してもコンテナを引き続き利用できる場合があります。

ホームサーバーでは、Dockerがコンテナ内からlocalhost、存在しないユーティリティ、誤ったポート、または一時的に利用できない依存関係を対象にヘルスチェックコマンドを実行していても、リバースプロキシ経由ならアプリを開ける場合があります。まず、コンテナ内で正確なプローブを再現します。その後、再試行回数を増やしたりヘルスチェックを無効にしたりする前に、その対象と期待される結果を実際のユーザー経路と比較します。

ブラウザーとヘルスチェックのテスト内容を比較する

アプリケーションを開けたURLとネットワーク経路を記録します。ブラウザーがリバースプロキシ、公開されたホストポート、ローカルIP、コンテナへの直接接続のどれを経由しているか確認します。

Dockerは設定されたプローブをコンテナ内で実行するため、ブラウザーとは異なるエンドポイントをテストする場合があります。Dockerコミュニティの事例では、サービスプロセス自体は実行可能だったにもかかわらず、イメージにプローブで使われるcurlコマンドが含まれていないため、ヘルスチェックに失敗しました。

ブラウザーで成功する経路に別のプロキシやポートが使われている場合、その結果を内部プローブの対象が正しい証拠として扱わないでください。両方の経路を書き出し、最初に異なるコンポーネントを特定します。

コンテナ内でヘルスチェックコマンドをそのまま実行する

シェル形式、URL、フラグ、認証情報、環境変数を含め、ヘルスチェックコマンドを正確にコピーします。実行中のコンテナ内で同じユーザーとして実行し、終了コードと出力を記録します。

異常と判定されたコンテナでも、プロセスは実行中の場合があります。ヘルスステータスが示すのはプローブの結果であり、ユーザーがページを読み込めるかどうかではありません。再起動の動作を変更する前に、Netdataの診断手順ではプローブの失敗とプロセスの失敗を区別します。

手動実行でコマンドが成功する場合は、自動チェックで使われる実行ユーザー、シェル、作業ディレクトリ、環境、実行タイミングと比較します。手動実行で失敗する場合は、次のヘルスチェック間隔を待たずに、エラーから次に確認すべき層を特定できます。

プローブツール、シェル、PATH、ユーザーを確認する

ヘルスチェックコマンドに含まれるすべての実行ファイルが現在のイメージ内に存在し、コンテナのユーザーで実行できることを確認します。最小構成のイメージには、curl、wget、bash、DNSツール、または証明書ストアが含まれていない場合があります。

shell形式とexec形式のプローブは動作が異なります。引用符、パイプ、変数展開、複合コマンドには利用可能なシェルが必要ですが、直接コマンドを実行する場合、ヘルスチェック環境のPATHが制限されていれば、実行ファイルのフルパスが必要です。

絶対パスと意図したサービスユーザーを指定してコマンドを実行してください。手動でコンテナにツールをインストールするのではなく、イメージまたはプローブを修正してください。手動での変更は次の再ビルドで失われます。

内部アドレス、ポート、プロトコルを確認する

コンテナ内のアプリケーションのリスナーを確認し、プローブURLと照らし合わせてください。8080:80のようにホスト側に公開されているポートがあっても、コンテナ内でサービスが8080番ポートをリッスンしているとは限りません。

ヘルスチェックでは、コンテナが制御するアプリケーションの状態を確認する必要があります。Dash0の実用ガイドによると、プローブはHTTPエンドポイントへのリクエストやプロセスの検査を行えますが、そのエンドポイントは外部プロキシ経由でのみ利用できるルートではなく、実際のコンテナの準備完了状態を示す必要があります。

それぞれ適切な場合に限り、127.0.0.1、コンテナのリスナーアドレス、サービス名をテストしてください。アプリがUnixソケットや別のインターフェースでしかバインドしない場合は、実際の内部エントリーポイントに合わせてプローブを変更してください。

起動の遅さと恒久的な障害を区別する

アプリケーション、データベースのマイグレーション、キャッシュのウォームアップ、モデルの読み込みが完了し、正しいエンドポイントが応答するまでの時間を計測してください。その時間をstart_period、interval、timeout、retriesと比較してください。

依存サービスが後から準備完了になっても、依然として異常と判定されている場合、Composeは依存するサービスの起動をブロックすることがあります。報告されたComposeの回帰バグでは、依存サービスの失敗によってスタックがすでに停止した後になって初めてサービスが正常と判定され、ヘルスチェックの起動猶予時間が狭すぎたことが明らかになりました。

ログからアプリが正常に処理を進めていることが確認できた場合に限り、タイミングを延長してください。リトライ時間を長くして、不正なポート、失敗したマイグレーション、証明書の不足、到達不能なデータベースを見逃さないようにしてください。

プローブの対象を絞り、復旧を検証する

ヘルスチェックで確認する対象を、プロセスの生存状態、ローカルアプリケーションの準備完了状態、またはより深い依存関係の連鎖のどれにするか決めてください。任意の外部APIを利用できないだけで、ローカルコンテナを異常な状態にしないでください。

アプリケーションがデータベース、キャッシュ、ネットワークサービスなしでは起動できない場合は、ZimaSpaceガイドの最初に失敗した依存関係を特定するを次の手順として確認してください。

正確な自動プローブが通常の起動後に成功し、依存サービスの再起動後もコンテナが正常な状態を維持し、実際のアプリのワークフローを引き続き利用できるようになれば、問題は解決です。サービスの故障を検出できる厳格さを保ちつつ、無関係なシステムによる誤検知を避けられるよう、プローブの対象を絞ってください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.