データが別の場所にあるのに、コンテナがシステムディスクをいっぱいにするのはなぜ?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

ログ、キャッシュ、一時ファイル、または誤って書き込まれたデータが Docker のローカルストレージに残っていると、コンテナがシステムディスクをいっぱいにすることがあります。

メディアライブラリやデータベースのボリュームを別のプールに移動しても、コンテナイメージ、書き込み可能レイヤー、JSON ログ、BuildKit キャッシュ、メタデータ、マウント一覧から漏れたパスは移動しません。また、外部マウントに失敗すると、想定していたホストディレクトリが空のままになり、明らかなエラーもなく、アプリケーションがシステムディスクに新しいデータを書き込むことがあります。

アプリケーションデータを調べる前に Docker ルートの使用量を測定する

Docker のデータルートがあるファイルシステムを確認し、ホスト上のディレクトリサイズと、Docker が集計するイメージ、コンテナ、ボリューム、ビルドキャッシュの使用量を比較してください。削除する前に使用量を記録しておきます。

Cloudron のユーザーは、/var/lib/docker/overlay2 が、目に見えるすべてのアプリケーションデータを合わせた量より多くの容量を消費していることを発見しました。この事例は、外部ライブラリとは別にDocker のストレージルートの使用量を測定する必要性を示しています。

システムディスクが満杯でも外部プールに空きがある場合、コンテナ、overlay レイヤー、ボリューム、イメージ、ビルドキャッシュのどこで使用量が増えているかを特定してください。稼働中のデータと復元可能なデータを分類する前に、一括削除を実行しないでください。

上限のないコンテナの JSON ログを確認する

ログドライバーと、各コンテナのログファイルサイズを確認してください。サービスの主要なデータは別の場所に保存されていても、Docker のローカルコンテナディレクトリでは標準出力と標準エラー出力が際限なく増え続けることがあります。

Code Maven では、デフォルトのログファイルが集計の外で増え続けていたため、docker system df では主な問題が見つからなかった事例を紹介しています。隠れた容量消費の原因は、増え続けるコンテナログでした。

ログをローテーションまたは切り詰める前に、エラーを大量に出しているアプリケーションを特定して修正してください。今後作成するコンテナには上限付きのログローテーションを設定し、新しいログファイルのサイズが想定した上限で止まることを確認してください。

コンテナの書き込み可能レイヤーに書き込まれたデータを見つける

想定されている永続化パスと、アプリケーションが実際に使用するキャッシュ、トランスコード、ダウンロード、データベース、サムネイル、バックアップ、一時ディレクトリを照合してください。マウントされていない書き込みはすべて、システムディスク上のコンテナの書き込み可能レイヤーに残ります。

Docker フォーラムの解説によると、書き込みや変更されたイメージファイルは書き込み可能レイヤーに保存され、大きな未ローテーションのログはコンテナのメタデータに保存されます。どちらも、外部データボリュームがあっても、1つのコンテナがローカルストレージをほぼ使い切る原因になります。

コンテナごとのサイズ情報を確認し、コンテナ内で最も大きく変化したパスを調べます。永続化が必要なデータに限って明示的なバインドマウントまたは名前付きボリュームを追加し、貴重なデータをバックアップしてからコンテナを再作成し、不要になった書き込み可能レイヤーの内容を破棄します。

コンテナ起動時に外部マウントが存在していたことを確認する

Dockerがコンテナを起動する前に、SSD、NAS共有、またはストレージプールが想定したホストパスにマウントされていたことを確認します。デバイスの識別情報とマウント情報を、コンテナから見えるディレクトリと照合します。

外部マウントがない場合でも、システムファイルシステム上には空のディレクトリが存在していることがあります。コンテナはそのフォールバック先のディレクトリに通常どおり書き込めるため、外部プールには変化がないのにシステムディスクの使用量が増加する可能性があります。

データが入ったフォールバック先にストレージを再マウントする前に、コンテナを停止します。隠れたファイルを安全に移動または整理し、マウント依存関係や起動時チェックを追加して、想定したデバイスがない場合はアプリケーションの起動を拒否します。

イメージレイヤー、ビルドキャッシュ、放置されたオブジェクトを調べる

未使用のイメージ、停止中のコンテナ、匿名ボリューム、BuildKitキャッシュを確認します。アプリケーションの永続データが正しく別の場所にマウントされていても、頻繁な更新やローカルビルドによって多くのレイヤーが蓄積することがあります。

Mobyプロジェクトのフォーラムでの説明によると、overlayマウントはディスク使用量の把握を複雑にするため、基盤となるファイルシステムの使用量を慎重に解釈する必要があります。別のHome Assistantの事例でも、時間の経過とともにログやレイヤーによるoverlay2の増加が確認されました。

現在のComposeプロジェクトやバックアップで使われていないことを確認したオブジェクトだけを削除します。Dockerのメタデータ参照に不整合が生じる可能性があるため、個々のoverlay2ディレクトリを手動で削除しないでください。

増加のベースラインで修正を検証する

原因となっているパスを修正したら、以前に増加を引き起こしたワークロードの実行中、Dockerルートの使用量、ログサイズ、コンテナの書き込み可能レイヤーのサイズ、外部プールの使用量を一定間隔で記録します。

ZimaSpaceのワークフローで大容量NAS転送を準備すると、データが意図したプールに保存されることを確認するための、再現可能な負荷をかけられます。

システムディスクの増加が想定されるイメージやログの動作と一致し、アプリケーションの永続データが外部プール上で増加し、外部マウントがない場合にルートファイルシステムへ黙って書き込まず、安全に起動を失敗させることでのみ問題は解決します。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.