バックアップ時間帯に合わせて写真のサムネイル生成ジョブを最適化する方法

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

サムネイルの生成では、オリジナルを読み込み、多数の小さな派生ファイルを書き込み、データベースの行を更新します。また、動画のエンコードや機械学習とCPUを取り合うこともあります。NASのバックアップ中に実行すると、両方の処理が長引き、写真を閲覧する際の応答性も低下する可能性があります。

目標は、サムネイル生成を恒久的に遅くすることではありません。バックアップと競合しているリソースを測定し、関連する同時実行数だけを減らしたうえで、各負荷の高いジョブに明確な実行時間帯と、超過した場合の復旧ルールを設定します。一時的なスロットリングが気づかれないまま恒久的な制限にならないよう、通常のワーカー設定を記録しておきましょう。

ワーカーを変更する前に競合を測定する

サムネイルの滞留がない状態で通常のバックアップを実行し、所要時間、ストレージのレイテンシ、ネットワークスループット、CPU使用率を記録します。別の日に、代表的なサムネイルのバッチをバックアップの通信がない状態で処理し、同じ指標を記録します。

対処法は、制約となっているリソースによって異なります。ディスクレイテンシが高い場合は読み取りと書き込みのワークロードを時間差で実行し、CPUが飽和している場合は画像ワーカーの数を減らします。データベース用ボリュームが逼迫している場合は、データベースの保存先と派生ファイルの保存先を分離する必要があるかもしれません。

Immichにはジョブキューとワーカーの制御機能があり、その内容はジョブとワーカーのドキュメントで説明されています。編集する前に現在の値を記録しておけば、実験に失敗しても確実に元に戻せます。

静穏時間帯と超過時のルールを定める

バックアップは最も高い復旧要件がある時間帯に配置し、その前後の時間帯をサムネイル処理用に確保します。キューの起動時には大量のファイルオープンやデータベース処理が発生することがあるため、両方を同じ分に開始するのは避けてください。

バックアップが長引いた場合の動作を決めておきます。安全な方法は、バックアップの完了が報告されるまでサムネイルのワーカー数を減らすか一時停止し、その後、通常の同時実行数に戻すことです。2つのスケジュールを無計画に重ねて実行するのは避けてください。

大量のインポート後に、追いつき処理の時間帯を確保してください。そうしないと、夜間のワーカー数を低く設定したままになり、日中にリソースを使えるにもかかわらず、ユーザーがサムネイルを何日も待つことになりかねません。

ボトルネックに合わせて同時実行数を調整する

一度に変更するワーカークラスまたは同時実行数は1つだけにし、同じサイズのバッチを処理してください。CPU使用率だけで成否を判断せず、キューの解消速度をバックアップ所要時間や操作時のレイテンシと比較します。

オリジナルとバックアップを同じHDDに保存している場合は、CPU上限を上げるより、画像の同時読み取りを減らすほうが効果的なことがよくあります。オリジナルを高速ストレージに保存していてもデータベースがビジー状態なら、ワーカー数を増やす前にデータベースの処理を移動するか、優先的に保護してください。

バックアップとサムネイル処理の両方で、ネットワークマウントの安定性を維持してください。Immichのネットワークストレージガイドでは、マウントされていても応答しないパスが、アプリケーションのジョブの問題のように見える理由を説明しています。

全サイクルを検証して通常のサービスに戻す

バックアップを最初から最後まで実行した後、サムネイル処理の時間帯もひと通り観察します。開始時刻と終了時刻、ストレージの最大レイテンシ、キューの深さ、失敗したジョブの数、処理中にユーザーが最近の写真を開けるかを記録してください。

バックログの解消後、設定を下げたのが追いつき時の保護のためだけだった場合は、同時実行数を記録済みの通常値に戻してください。恒常的に制限する場合は、測定したサービス目標に基づいて意図的に行ってください。

バックアップ所要時間が予測可能な範囲に収まり、サムネイルキューが予定した追いつき時間内に解消され、ジョブの失敗やアセットの欠落が発生しなければ、変更は成功です。エラー率やデータベースのレイテンシが上昇した場合は、最後に変更した同時実行数を元に戻してください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.