トランスコード後にだけ音声がずれるのはなぜ?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

生成された音声のタイムラインが、映像とまったく同じ速度またはタイムスタンプ境界で進まなくなると、トランスコード後に音ズレが発生します。

ダイレクト再生では、クライアントが元のコンテナとネイティブのタイミング指示を使用するため、問題が見えないことがあります。一方、トランスコードでは、音声または映像の片方、あるいは両方のストリームをデコード、リサンプリング、再エンコード、タイムスタンプ付与、セグメント化、リマックスします。まず、エラーが固定のオフセットなのか、徐々に大きくなる音ズレなのか、シークや再開によって生じるずれなのかを判断します。それぞれのパターンから、メディア処理パイプラインの異なる箇所が原因だと分かります。

トランスコーダーを変更する前に同期エラーを分類する

シークせずに最初から再生し、冒頭、中盤、終盤での音ズレを記録します。BGMを聞いて推測するのではなく、目に見える衝撃や発話の子音を含む場面を使います。

固定のオフセットが変わらず続く場合は、初期タイムスタンプ、編集リスト、受信側の遅延、またはクライアントの設定が原因と考えられます。音ズレが徐々に大きくなる場合は、クロックレートの不一致、フレームレートの解釈、音声の伸縮、またはリサンプリングが原因と考えられます。シークまたは再開後に突然ずれる場合は、セグメントと再開時のタイムスタンプが原因と考えられます。

字幕を無効にし、クライアントの手動音声遅延設定をゼロにして測定を繰り返します。変化する音ズレを固定のオフセット1つで補正しても、あるタイムスタンプで症状が隠れるだけです。

元のファイルが同期していることを確認する

信頼できるデスクトッププレーヤーでソースをローカル再生し、互換性のあるメディアクライアントでダイレクト再生します。トランスコード中に音ズレするのと同じタイムスタンプ範囲をテストします。

ローカル再生でもソースの音ズレが起きる場合は、サーバーを変更する前にメディアファイルを調査または修復します。トランスコード経路以外ではどこでもソースの同期が保たれる場合は、ファイルをそのまま保管し、メディアサーバーの再生判断、FFmpegコマンド、クライアントのバージョンを記録します。

同じコーデックを使用し、タイムラインが正常であることが確認済みの別のファイルを比較対象として使います。問題が起きるタイトルが1つだけなら、ソースのタイムスタンプまたはコンテナのメタデータが原因と考えられます。同じクライアントで多数のタイトルに問題が起きるなら、共通のトランスコーダー、セグメンター、またはプレーヤー経路が原因と考えられます。

実際に変換されているストリームを特定する

セッションが音声のみのトランスコードと映像ストリームのコピー、コーデック変換なしのリマックス、または映像と音声の完全なトランスコードのどれを行っているか確認します。これらの処理では、タイミングの境界がそれぞれ異なります。

音声のみの変換でも、シーク後に同期ずれが生じることがあります。Jellyfinの報告では、映像ストリームをコピーしたままE-AC-3またはDTSをAACに変換すると、シーク後に音声の同期ずれが発生することが再現されました。

映像、画質、字幕は変えずに、クライアントが対応している音声トラックに切り替えます。セッションがDirect Playになり、ずれが解消する場合は、映像エンコードの性能ではなく、音声のタイムスタンプ、リサンプリング、チャンネル変換、または生成された配信コンテナに注目します。

ZimaSpaceの音声トランスコードパイプラインの概要は、このストリームレベルのテストを解釈するための関連メカニズムを説明しています。

最初から、シーク後、レジューム後の再生をテストする

同じクライアントとファイルを使って、条件を制御した3つのセッションを実施します。最初から中断せずに再生するセッション、バッファ範囲を超えてシークするセッション、保存した位置からレジュームするセッションです。同期が変わるタイミングを正確に記録します。

4Kのトランスコード再生では、最初は同期していても、シーク、チャプターの切り替え、またはレジュームの後にずれが生じるという報告があります。違いを生む条件は、メディアをデコードできるかどうかではなく、トランスコード中のタイムライン変更です。

別のJellyfinの報告では、ソースファイル自体に問題がないにもかかわらず、レジューム時にのみ音声と映像の同期ずれが生じています。このパターンは、ライブラリ全体のリマックスを行う前に、レジューム処理に原因を絞り込みます。

シークまたはレジュームだけが失敗する場合、アプリケーションにそのオプションがあれば、別の配信コンテナまたはクライアントプレーヤーを試します。タイムスタンプの再開動作が原因だと判断できるよう、中断せずに再生した場合を対照として維持します。

ソースのタイミング、フレームレート、音声の伸縮メタデータを確認する

メディアプローブを使用して、動画のフレームレートとタイムベース、音声のサンプルレート、ストリームの開始時刻、長さ、負のタイムスタンプ、編集リスト、トラックの遅延や伸縮の値を記録します。最初と最後の表示タイムスタンプを比較します。

Matroskaのトラックには、異なるフレームレートのソースからの音声に合わせるため、意図的な線形タイミング調整が施されている場合があります。Jellyfinのある課題では、元のコンテナでは問題なく使えるものの、トランスコード時に正しく処理されない線形にずれた音声トラックについて説明しています。

音声の長さが映像に対して比例して異なる場合は、音声を明示的に1回だけ再サンプリングまたはタイムストレッチし、その後、タイムスタンプを整えて再多重化した修正版のテストコピーを作成します。元のファイルは保持し、一括修正を適用する前にタイトルを1つだけテストしてください。

HLSまたはfMP4のセグメントのタイムスタンプ動作を確認する

トランスコーダーのコマンドを確認し、シークフラグ、タイムスタンプのコピー、負のタイムスタンプの処理、HLSのセグメント形式、セグメント長、クライアントがバッファ済みのコンテンツを超えて移動したときに新しいトランスコードプロセスが開始されるかどうかを調べます。

Jellyfinのタイムスタンプ調査では、精度の低いシーク動作により、HLSストリームが元のタイムラインからずれた位置で再開する可能性が判明しました。主な問題はトランスコード後のタイムスタンプの不整合で、その結果、クライアント側の再生タイミングにも影響が生じました。

無関係なバージョンのコマンドラインフラグを本番コンテナにコピーしないでください。まず、サポートされている手順でサーバーとクライアントを更新またはロールバックし、再生成可能なトランスコードセグメントのみを削除します。アプリケーションで選択できる場合は、MPEG-TS、fMP4、またはネイティブプレーヤーでの動作を比較してください。

最小限の修正を適用し、全編を検証する

テストで有効性が確認された方法を選びます。互換性のある音声トラックまたはクライアントを選択する、問題のあるシーク/再開経路を避ける、対応しているストリーミングコンテナに変更する、メディアサーバーのビルドを更新または固定する、あるいはタイミングメタデータが壊れたソースを1つだけ補正します。

テレビアプリで映像がずれるからといって、すべての映画を再エンコードしないでください。クライアント固有の不具合はクライアント側または再生プロファイル層で修正し、特定のソースで発生する線形のずれは、そのファイルのタイミング修正で対処してください。

修復したパスを最初から最後まで確認し、問題が発生した元の位置付近でもう一度シークして再生を再開します。全編を通してオフセットが安定し、生成されたセグメントが想定どおりのタイムラインを保ち、クライアントの再起動とサーバーの再作成後も同じ設定が維持される場合にのみ、問題が解決したと判断してください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.