オーディオトランスコーディングはメディアサーバーの再生パイプラインにどのような影響を与えますか？

オーディオトランスコーディングは、クライアントがビデオは受け入れられるが、選択されたオーディオコーデック、チャンネル配置、サンプルフォーマット、コンテナの組み合わせをデコードできない場合に、メディアサーバーの再生パイプラインを変更します。サーバーは元のビデオビットストリームを保持しつつ、オーディオパスだけをデコードして再構築できます。

これは完全なビデオトランスコーディングよりはるかに安価ですが、無料ではありません。サーバーは依然としてコーデック交渉、オーディオデコード、チャンネルのリミックスやリサンプリング、エンコード、タイムスタンプの整合、リマックス、場合によってはセグメント生成を行い、再生を続けられるようにします。

どの互換性チェックがオーディオのトランスコーディングを引き起こすのか？

メディアサーバーは再生パスを選択する前に、ソースストリームとクライアントプロファイルを比較します。クライアントのコーデックサポートが再生方法を決定します。テレビはビデオコーデックをサポートしていても、TrueHD、DTS、多チャンネルAAC、特定のチャンネル配置を拒否することがあります。

Direct Playはクライアントが保存されたファイル全体を受け入れることを要求します。Direct Streamはコンテナを変更しつつ互換性のあるストリームを保持でき、オーディオのみのトランスコーディングはビデオをデコードせずに非対応のオーディオストリームを置き換えられます。

この判断は、選択された字幕、リモートの帯域幅設定、再生アプリケーション、HDMIオーディオデバイス、ブラウザによっても変わることがあります。互換性は表示パネルだけでなく、再生チェーン全体に関わるものです。

なぜビデオストリームは変更されずに済むのか？

メディアコンテナは、別々のビデオ、オーディオ、字幕ストリームを保持します。ビデオはコピーされたままでオーディオだけが変換されるため、サーバーはすべてのフレームをデコードする代わりに圧縮されたビデオパケットを新しい出力にコピーできます。

ビデオストリームのコピーは、元のコーデック、解像度、フレームレート、HDR情報、圧縮品質を保持します。また、デコード、スケーリング、トーンマッピング、ビデオエンコードに関連するGPUやCPUの負荷も回避します。

出力には依然として同期されたタイムスタンプと、クライアントが受け入れるコンテナまたは配信方法が必要です。したがって、ビデオを変更しないことは最もコストのかかる変換を省くことになりますが、パイプラインの他の部分を回避するわけではありません。

デコード、リミックス、リサンプル、エンコードの間に何が起こるのか？

トランスコーディングは圧縮されたソースを異なる表現に変換します。オーディオトランスコーディングは1つのストリームをデコードして再エンコードします。オーディオの場合、サーバーはまず圧縮されたサンプルを中間のPCM類似形式にデコードします。

その後、7.1または5.1チャンネルをステレオにダウンミックスしたり、チャンネルマッピングを変更したり、サンプルレートを調整したり、サンプルフォーマットを変換してから、AAC、AC-3、Opus、MP3、または他のクライアント対応コーデックとしてエンコードします。

各段階はCPUとメモリ帯域を消費し、サンプルをバッファリングすることがあります。オーディオエンコードは通常ビデオエンコードよりはるかに軽いですが、複数の同時ストリーム、高解像度オーディオ、ソフトウェアのみのコーデック、小規模なホームサーバーでは負荷が目立つことがあります。

なぜコンテナや配信プロトコルも変更されることがあるのでしょうか？

変換されたオーディオとコピーされたビデオは互換性のある構造で配信されなければなりません。HLSパッケージングはマニフェストとメディアセグメントを追加しますので、サーバーはビデオピクセルが変わらなくてもストリームをリマックスし、マニフェストとセグメントを生成することがあります。

元のMKVコンテナを拒否するクライアントでも、同じビデオをフラグメント化されたMP4、MPEG-TS、または他のストリーミング形式内で受け入れることがあります。この経路は圧縮が互換ストリームで保持され、パッケージングのみが変更されるため、しばしばダイレクトストリームと呼ばれます。

セグメンテーションはバッファリングとタイムスタンプの境界を導入します。サーバーはシーク、トラック変更、不連続性、ライブプレイリストの更新にわたって、新たにエンコードされたオーディオをコピーされたビデオと整合させ続ける必要があります。

オーディオの選択は同期、品質、サーバ負荷にどのように影響しますか？

すべてのロスのある再エンコードは品質を変化させる可能性がありますが、トランスコーディングは互換性を計算負荷と品質と交換します。ビットレートを下げたりステレオダウンミックスすることで配信要件は軽減されますが、元の没入型トラックのすべての特徴を保持することはできません。

オーディオフィルターは遅延を追加し、プレゼンテーションタイムスタンプを保持する必要があります。不適切なタイムスタンプ処理、長いエンコーダバッファ、またはパイプラインの再起動により、ビデオストリーム自体が再エンコードされていなくてもリップシンクのずれが発生することがあります。

ハードウェアアクセラレーションはビデオには効果的でも、選択されたオーディオコーデックには効果がない場合があり、そのためダッシュボードにはビデオストリームコピーとCPU使用率がゼロでない状態が表示されることがあります。正しい比較はオーディオのみのトランスコーディングと完全なビデオトランスコーディングであり、完全にアイドル状態のサーバーとの比較ではありません。

オーディオトランスコーディングが完全なビデオトランスコーディングに発展するのはいつですか？

字幕の焼き込みはビデオストリーム自体を変更します。互換性のないビデオコーデック、解像度制限、ビットレート上限、トーンマッピング要件、または画像字幕も同様にサーバーにビデオのデコードとエンコードを強制することがあります。

その後、パイプラインははるかに重くなります：ビデオのデコード、フィルタリング、スケーリングまたはトーンマッピング、ビデオエンコード、オーディオ変換、マルチプレックスがすべて同時に動作する可能性があります。オーディオの互換性の問題は、元のファイルを直接配信できなかった理由の一つに過ぎません。

セッション全体を単に「トランスコーディング」とラベル付けするのではなく、ストリームごとにサーバーの再生判断を確認してください。ストリームコピーとオーディオ変換は、完全なビデオトランスコードとは異なる品質、消費電力、同時処理制限があります。

よくある質問

オーディオトランスコーディングはビデオ品質を下げますか？

ビデオストリームが変更されずにコピーされている場合はありません。ビデオの品質が変わるのは、サーバーがビデオをデコードして再エンコードする場合のみです。

なぜステレオクライアントがトランスコーディングを引き起こすのですか？

ソースがサポートされていないコーデックやマルチチャンネルレイアウトを使用している場合、サーバーは互換性のあるステレオトラックをデコード、ダウンミックス、エンコードする必要があります。

オーディオトランスコーディングはバッファリングを引き起こしますか？

サーバーが十分に速くエンコードできない場合、セグメント生成が待機し、タイムスタンプがずれ、残りのネットワークおよびストレージ経路が制限されている場合は同じです。

Direct StreamはDirect Playと同じですか？

いいえ。Direct Playは元のファイル構造を送信し、Direct Streamは互換性のあるストリームをリマックスし、サポートされていないストリームのみをトランスコードする場合があります。

最終的な結論

オーディオトランスコーディングは、互換性のないオーディオストリームを置き換えつつ、元のビデオビットストリームを保持することが多いです。サーバーは依然としてメディアのデコード、リミックス、リサンプリング、エンコード、同期、再パッケージを行うため、セッションはDirect Playよりも多くのリソースを使用しますが、完全なビデオトランスコードよりははるかに少ないです。実際のパイプラインを理解するために、ストリームごとの再生状況を診断してください。