Dockerログがホストの起動ドライブをいっぱいにしないようにするには?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

ログを直ちに出力しているプロセスを停止し、現在使われているログの保存先を特定してから、保持量に上限のあるローテーションを設定し、大量出力を引き起こしているエラーや再起動ループを修正します。

DockerベースのNASやホームサーバーでは、メディアやデータベースが別のプールに保存されていても、起動ドライブが容量不足になることがあります。コンテナの標準出力と標準エラー、systemdのジャーナルデータ、アプリケーション固有のファイルが、システムファイルシステム内に残っている場合があるためです。安全な手順は、直近の証拠を十分に保存し、制御不能な増大を止め、どのログ層が容量を使用しているかを特定し、既存および今後のサービスの保持期間を設定したうえで、根本のアプリケーションが同じ量のログを出力し続けていないことを確認することです。

実際に増大しているログの保存先を特定する

起動ファイルシステムの空き容量を確認し、Dockerのデータルート、コンテナごとのログファイル、システムジャーナル、ホストからマウントされたアプリケーションのログディレクトリのサイズを比較します。削除や切り詰めを行う前に、最大のパスを記録してください。

Dockerのディスク容量に関する事例では、デフォルトのログファイルが別に増大していたため、通常のDockerの概要表示では主な容量消費元が判明しませんでした。決め手となったのは、ローカルのDockerストレージパスにある増え続けるコンテナログでした。

稼働中の各コンテナに設定されているログドライバーとログパスを確認し、最大のファイルをコンテナ名と最近のメッセージに照合します。使用量の原因がコンテナログで説明できない場合は、Docker関連のディスク問題がすべてjson-fileに起因すると決めつけず、journaldとアプリ固有のフォルダーも確認してください。

緊急のクリーンアップの前に、ログを大量に出力しているコンテナを停止する

起動ドライブの空き容量が少なくなったら、最も速くログが増加しているコンテナを一時停止するか停止してください。空き容量を確保する前に、ログの末尾を上限付きで保存し、再起動回数、終了状態、イメージのバージョン、環境変数、マウント、最初に繰り返し発生したエラーを記録します。

管理者は、サイズ制限が設定されていない場合、コンテナのJSONログが残りのディスク容量を使い切ることに気づくことがよくあります。長期にわたるStack Overflowの議論では、イメージやボリュームのデータとは別の容量リスクとして、上限のないJSONログの増大が挙げられています。

Dockerがログファイルを開いたままの状態で、実行中のファイルをむやみに削除しないでください。また、Dockerのメタデータツリーから任意のディレクトリを削除しないでください。ログを書き込むプロセスを停止してから、プラットフォームがサポートするローテーションまたは切り詰めの手順のみを使用します。その後、影響を受けるサービスを再起動する前に、解放されたブロックが確認できることを確かめてください。

長時間稼働する各サービスに上限付きのローテーションを適用する

Composeのサービス設定またはコンテナ設定で、ログドライバーと有限のローテーション制限を明示的に設定します。一般的なJSONドライバーで重要なのは、ファイルの最大サイズと保持するファイル数の上限です。

Dockerコミュニティのローテーションに関するスレッドでは、max-sizeやmax-fileなどのオプションによって、各コンテナが保持するローカルのログ履歴量を制限できると説明されています。運用上必要なのは有限のローテーションポリシーであり、無期限に増え続ける単一ファイルではありません。

インシデントの診断に必要な時間と、ホストが安全に確保できる起動ディスク容量に基づいて制限を決めます。実行中のコンテナに新しいログ設定を適用するため、サービスを再作成します。その後、有効な設定を確認し、小規模な管理下のテストを実施して、想定どおりにファイルがローテーションされることを確かめます。

既存のコンテナには反映されないことを前提に、今後のコンテナのデフォルトを設定する

新しく作成するコンテナに対して、デーモンまたはプラットフォームレベルのデフォルト設定を構成し、サービス設定を省略した際にローカルログが無制限に戻らないようにします。診断要件が異なる重要なサービスには、より限定的な個別設定を適用できるようにします。

Dockerのログ設定のデフォルトを変更しても、既存のすべてのコンテナのホスト設定が遡って書き換えられるわけではありません。コミュニティの同じガイダンスでは、デーモンのデフォルト設定とコンテナごとの作成設定が区別されています。そのため、古いサービスは設定を確認し、明示的に再作成する必要があります。

まず重要度の低いサービス1つに変更を適用します。ログの取得、監視、アラート、サポートのワークフローが引き続き機能することを確認してから、永続ボリュームを削除せず、残りのサービスを管理された単位で再作成します。

ログ急増を引き起こすイベントを修正する

ローテーションで被害は抑えられますが、数秒ごとに再起動するコンテナ、到達できないデータベースへの再試行、すべてのヘルスチェックの記録、攻撃やリクエストの集中、トラブルシューティング後もデバッグモードのままになっている状態は解決できません。

あるDockerユーザーは、約80 GBのJSONログの原因が過剰なデバッグ出力だったと突き止めました。この事例は、ローテーションが当面の防止策になる場合でも、デバッグレベルの出力によって起動ドライブが圧迫される可能性を示しています。

繰り返されるメッセージを頻度と最初の発生時刻で分類し、最も早い根本原因を修正します。接続、マウント、シークレット、準備状態の失敗によってログが急増している場合は、次の診断としてZimaSpaceの再起動ループを引き起こす依存関係の特定ガイドを参照してください。

Docker、Journald、アプリ独自のログを個別に管理する

コンテナは標準出力をDockerに送る一方で、バインドマウントに独自のファイルを書き込むこともあります。また、Dockerサービス自体がデーモンイベントをjournaldに送る場合もあります。出力先ごとに保持を管理する仕組みは異なり、それぞれが独立して同じ起動用ファイルシステムをいっぱいにする可能性があります。

Dockerレベルのローテーションで抑制されるはずなのに、アプリケーションのログディレクトリが増え続けるという報告がホームサーバーの運用者から寄せられています。TrueNASコミュニティの事例は、上限を調整する前にどのロギング層が保持を担っているか特定する必要性を示しています。

修正後のベースラインとして、起動ディスクの使用量、最大ログファイル、ジャーナルのサイズ、コンテナの再起動回数、日次の増加量を記録します。すべてのアクティブな出力先に上限付きのポリシーが適用され、通常の負荷で問題のサービスが安定し、意図的に再起動しても無制限のファイルが再作成されないことを確認できて、初めて修復完了です。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.