データをクリーンアップした後もデータベースコンテナの使用量が増え続けることがあります。削除済みの行、トランザクションログ、インデックス、コンテナログでは、領域を回収する仕組みがそれぞれ異なるためです。
コンテナ全体のディスク使用量が増えているからといって、データベースボリュームも増えていると決めつけないでください。データベースのデータディレクトリ、WALまたはbinlogのディレクトリ、Dockerのログファイル、書き込み可能レイヤー、バックアップ用または一時用のパスを個別に測定します。そのうえで、削除済みデータベース領域が内部では再利用可能でもホストには返却されていないのか、実際に書き換えが必要なのか、それともまったく別のファイルが増え続けているのかを判断します。
どのパスが増え続けているかを測定する
クリーンアップを1サイクル実施する前後で、名前付きボリュームまたはバインドマウントされたデータベースディレクトリ、コンテナの書き込み可能レイヤー、ホスト側のコンテナログ、データベースのトランザクションログディレクトリ、ダンプ用ディレクトリまたは一時ディレクトリのサイズを記録します。
PostgreSQLのディスク領域トラブルシューティングガイドも、同じ原則から始まります。領域を回収する操作を選ぶ前に、まずどこに領域があるかを特定します。
Dockerのログだけが増えているなら、データベースのクリーンアップは関係ありません。データファイルのサイズが大きいままでも、クリーンアップ後に増加が止まれば、ホストのファイルシステム上では縮小していなくても、エンジンが解放済みページを再利用している可能性があります。
再利用可能なデータベース領域と、ディスクに返却された領域を区別する
多くのトランザクションデータベースでは、行を削除した直後にテーブルの途中にあるファイルブロックが取り除かれるわけではありません。内部ページに印を付けるか、内部ページを回収することで、基盤となるファイルのサイズを変えずに、後続の挿入でその領域を再利用できるようにします。
PostgreSQLはわかりやすい例です。通常のVACUUMは内部で領域を再利用しますが、通常、ファイルの途中にある領域をオペレーティングシステムに返却することはありません。
クリーンアップ後に新しいレコードを挿入しても、ファイルが増え続けるかどうかを確認してください。内部の肥大化が減ってファイルサイズが安定している状態は、制御不能な増大とは異なり、通常、緊急の書き換えを必要としません。
汎用的なDockerのクリーンアップではなく、データベースエンジンに適した方法で容量を再利用する
ホストに容量を戻すことが目的なら、まずエンジンとストレージ形式を特定してください。PostgreSQL、MySQLまたはMariaDB、SQLiteでは、共通して使える縮小コマンドはありません。また、容量を再利用する操作によって、大きなファイルが書き換えられたり、テーブルがロックされたりする場合があります。
MySQLのストレージに関する記事では、DELETEを実行しただけでホスト上の空き容量がすぐに増えると考えるのではなく、OPTIMIZEによってInnoDBテーブルを再構築できる仕組みが説明されています。
書き換えが多い操作を行う前に、データベースをバックアップし、作業領域に十分な空き容量があることを確認してください。大きなテーブルのコピーをもう1つ作る必要があるコマンドを実行するには、ホームサーバーのファイルシステムがほぼ満杯のときが最も危険です。
WAL、binlog、レプリケーションの保持設定を個別に確認する
古いアプリケーションの行を削除しても、トランザクションログが増え続けることがあります。アーカイブジョブの失敗、古いレプリケーションスロット、遅延しているレプリカ、長時間実行中のトランザクション、バックアップの保持要件などにより、過去のログセグメントがディスク上に残り続ける場合があります。
最近のPostgreSQLのリカバリに関する解説では、ユーザーがデータを削除したテーブルとは別に、WALの保持によってストレージが消費される仕組みが紹介されています。
WALファイルやbinlogファイルをファイルシステムから手動で削除しないでください。データベースエンジンで保持の原因を解消し、通常の再利用が再開されることを確認してください。
Dockerログの上限を設定し、書き込み可能レイヤーを確認する
標準出力や標準エラーが上限のないDockerログに記録されたり、一時的なエクスポートファイル、キャッシュ、データベースファイルが、本来の永続ボリュームではなくコンテナレイヤーに書き込まれたりすると、データベースコンテナの容量が増え続けているように見えることがあります。
セルフホスト環境のDockerに関する事例では、ローテーションを設定しないとコンテナログが際限なく増えることが指摘されています。
削除する前に、大きなホストファイルをそれぞれのコンテナ内のパスに対応づけてください。今後の増加に備えてログローテーションを設定し、一時的な書き込みレイヤーに依存せず、データベースの状態を明示的なボリュームに保存してください。
クリーンアップで持続可能な余裕が生まれることを確認する
選択した解放手順の後、代表的な期間、通常の書き込み負荷を実行し、ホストの空き容量、データベースファイルのサイズ、トランザクションログのサイズ、Dockerログ、内部の空き領域や肥大化の指標を比較してください。
PostgreSQLのストレージ削減ガイドでは、削除するたびにオペレーティングシステムから見たファイルサイズがすぐに小さくなると考えるのではなく、対象を絞ったメンテナンスで縮小する必要があると説明しています。
データベースの想定される増加分が再利用されるか抑制され、クリーンアップのたびにホストの容量が原因不明のまま失われなくなれば、修正は完了です。関連するZimaSpaceのデータベースコンテナの一貫性を保ったバックアップガイドでは、データベースファイルを書き換える操作の前にロールバックの基準を確認できます。
よくある質問
数百万行を削除しても、ホストのディスク空き容量がほとんど増えないことがあるのはなぜですか?
エンジンは、ファイル自体を切り詰めるのではなく、データベースファイル内のページを再利用可能としてマークする場合があります。その場合、ホストから見えるファイルサイズは変わらないまま、今後の増加を抑えられることがあります。
コンテナが大きくなるたびに、全面的な書き換えを実行すべきですか?
できません。書き換えを多く伴う操作では、ロックや一時領域、大量のI/Oが必要になることがあります。ホストの空き領域を増やす必要があり、エンジン固有のリスクを把握している場合にのみ実行してください。
Docker pruneでデータベースのボリュームを解放できますか?
ボリュームがデータベースの永続状態の一部である間は、安全に削除できません。削除する前に、その領域がログ、イメージ、停止中のコンテナ、稼働中のデータベースデータのどれに属するかを確認してください。
サポートとヒント
続きを読む

家族に見られないように、NAS上のアダルト動画を隠す方法
家族で使うNASでは、アダルト動画を非公開に保ちましょう。フォルダーのアクセス権、PlexとJellyfinのライブラリーへのアクセス、サムネイル、視聴履歴、共有テレビのログイン情報、DLNAを確認してください。

Transformersでコミュニティモデルを読み込む前に確認すべきこと
TransformersのJinjaサンドボックスアップデートを使って、モデルの来歴、チャットテンプレート、リモートコード、シリアライズされた重み、隔離された初回実行を確認しましょう。

Mirageをローカルで実行:1枚の画像から文字認識と物体検出
Cactus Computeの小型ローカルビジョンモデルを試し、実際の入力でOCRとオブジェクト抽出を検証して、メモリ、言語、プライバシーの制限を把握しましょう。



