音声のトランスコードはメディアサーバーの再生パイプラインをどう変えるのか?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

クライアントが動画は再生できても、選択された音声コーデック、チャンネル構成、サンプル形式、またはコンテナとの組み合わせをデコードできない場合、音声のトランスコードによってメディアサーバーの再生パイプラインが変わります。サーバーは元の動画ビットストリームを維持したまま、音声経路のみをデコードして再構築できます。

これは動画全体のトランスコードより大幅に低コストですが、負荷がまったくないわけではありません。再生を続けられるようにするには、サーバーがコーデックのネゴシエーション、音声のデコード、チャンネルのリミックスまたはリサンプリング、エンコード、タイムスタンプの同期、リマックス、場合によってはセグメント生成も行います。

どのような互換性チェックが音声のトランスコードを引き起こす?

メディアサーバーは再生方法を選択する前に、ソースのストリームとクライアントのプロファイルを照合します。クライアントのコーデック対応状況によって再生方法が決まります。テレビが動画コーデックには対応していても、TrueHD、DTS、マルチチャンネルAAC、または特定のチャンネル構成には対応していない場合があります。

Direct Playでは、クライアントが保存時の完全なファイルを受け入れる必要があります。Direct Streamでは、互換性のあるストリームを保ったままコンテナを変更でき、音声のみのトランスコードでは、非互換の音声ストリームを動画のデコードなしで置き換えられます。

選択した字幕、リモート再生時の帯域幅設定、再生アプリ、HDMIオーディオ機器、ブラウザーによっても判断は変わります。互換性はディスプレイパネルだけでなく、再生経路全体に関わります。

動画ストリームを変更せずに保てるのはなぜ?

メディアコンテナには、動画、音声、字幕のストリームが別々に格納されています。動画をコピーしたまま、音声を変換できます。これにより、サーバーはすべてのフレームをデコードせずに、圧縮された動画パケットを新しい出力へコピーできます。

動画ストリームコピーでは、元のコーデック、解像度、フレームレート、HDR情報、圧縮品質が維持されます。また、デコード、スケーリング、トーンマッピング、動画エンコードに伴うGPUやCPUの負荷も回避できます。

出力には、同期されたタイムスタンプと、クライアントが受け入れられるコンテナまたは配信方式が引き続き必要です。そのため、動画を変更せずに保つことで最も負荷の高い変換は省けますが、パイプラインの残りの処理まで不要になるわけではありません。

デコード、リミックス、リサンプリング、エンコードでは何が行われる?

トランスコードでは、圧縮されたソースを別の表現形式に変換します。音声のトランスコードでは、1つのストリームをデコードして再エンコードします。音声の場合、まずサーバーが圧縮されたサンプルを中間的なPCM形式に似たデータへデコードします。

その後、7.1チャンネルや5.1チャンネルをステレオにダウンミックスしたり、チャンネルマッピングを変更したり、サンプルレートを調整したり、エンコード前にサンプル形式を変換したりすることがあります。変換結果はAAC、AC-3、Opus、MP3など、クライアントが対応するコーデックでエンコードされます。

各段階でCPUとメモリ帯域幅を消費し、サンプルをバッファリングする場合があります。通常、音声のエンコードは動画のエンコードよりはるかに軽いものの、複数のストリームを同時に処理する場合、高解像度音声を使う場合、ソフトウェアのみのコーデックを使う場合、または小型のホームサーバーを使う場合には、負荷が目に見えることがあります。

コンテナや配信プロトコルも変わるのはなぜ?

変換された音声とコピーされた動画は、互換性のある構造で配信する必要があります。HLSパッケージ化ではマニフェストとメディアセグメントが追加されるため、動画のピクセルが変わらなくても、サーバーがストリームをリマックスし、マニフェストとセグメントを生成することがあります。

元のMKVコンテナを受け付けないクライアントでも、同じ動画をフラグメント化MP4、MPEG-TS、または別のストリーミング形式に入れれば再生できることがあります。この方法は多くの場合、Direct Streamと呼ばれます。圧縮形式を維持したまま、互換性のあるストリームのパッケージ形式を変更します。

セグメント化によってバッファリングとタイムスタンプの境界が生じます。シーク、トラックの切り替え、不連続、ライブプレイリストの更新があっても、新たにエンコードされた音声をコピーされた動画と同期させて配信できるよう、サーバーは処理する必要があります。

音声の選択は同期、品質、サーバー負荷にどう影響する?

非可逆再エンコードを行うたびに品質が変わる可能性があります。一方、トランスコードでは、互換性を処理負荷と品質と引き換えにします。ビットレートを下げたり、ステレオにダウンミックスしたりすれば配信に必要な要件は減りますが、元のイマーシブ音声の特徴をすべて維持することはできません。

オーディオフィルターは遅延を加えるため、プレゼンテーションタイムスタンプを維持する必要があります。タイムスタンプの処理ミス、エンコーダーバッファーの過剰な長さ、パイプラインの再起動などにより、動画ストリーム自体は再エンコードされていなくても、リップシンクがずれることがあります。

ハードウェアアクセラレーションは動画には役立っても、選択したオーディオコーデックには対応していない場合があります。そのため、ダッシュボードでは動画ストリームのコピーが表示されているのに、CPU使用率がゼロではないことがあります。比較すべきなのは、音声のみのトランスコードと動画全体のトランスコードであり、完全にアイドル状態のサーバーではありません。

音声トランスコードがフル動画トランスコードに切り替わるのはどんなときですか?

字幕の焼き込みは動画ストリーム自体を変更します。非対応の動画コーデック、解像度の上限、ビットレート制限、トーンマッピングの要件、画像形式の字幕も、同様にサーバーでの動画のデコードとエンコードを必要とする場合があります。

この場合、処理はさらに重くなります。動画のデコード、フィルタリング、拡大縮小またはトーンマッピング、動画のエンコード、音声変換、多重化をすべて同時に行うことがあります。音声の非互換性は、元のファイルを直接配信できない理由の一つにすぎません。

セッション全体を単に「トランスコード」と呼ぶのではなく、ストリームごとにサーバーの再生方法を確認してください。音声変換を伴うストリームコピーは、画質、消費電力、同時処理数の上限が、動画全体のトランスコードとは異なります。

再生経路 動画 音声 サーバーの主な処理
ダイレクト再生 元のまま 元のまま ファイル配信とプロトコル処理
ダイレクトストリーム コピー 元のまま、または変換済み 再多重化と、音声変換が必要な場合の処理
音声のみのトランスコード コピー デコードして再エンコード 音声フィルター、エンコード、多重化、同期
フルトランスコード デコードして再エンコード コピーまたは変換 動画処理とその他の配信処理

よくある質問

音声トランスコードで動画の画質は低下しますか?

動画ストリームが変更されずにコピーされる場合は、発生しません。サーバーが動画もデコードして再エンコードする場合にのみ、動画の画質が変わります。

ステレオ対応のクライアントでトランスコードが発生するのはなぜですか?

ソースが非対応のコーデックやマルチチャンネル形式を使っているため、サーバーでデコード、ダウンミックス、互換性のあるステレオトラックへのエンコードが必要な場合があります。

音声トランスコードでバッファリングが起こることはありますか?

はい。サーバーが十分な速度でエンコードできない場合、セグメントの生成が待たされる場合、タイムスタンプがずれる場合、または残りのネットワークやストレージの経路に制約がある場合に発生します。

ダイレクトストリームはダイレクト再生と同じですか?

いいえ。ダイレクト再生では元のファイル構造のまま送信しますが、ダイレクトストリームでは互換性のあるストリームを再多重化し、非対応のストリームのみをトランスコードする場合があります。

まとめ

音声トランスコードでは、互換性のない音声ストリームを置き換え、多くの場合、元の動画ビットストリームは維持します。サーバーは引き続きメディアのデコード、ミキシング、リサンプリング、エンコード、同期、再パッケージ化を行うため、セッションではダイレクト再生より多くのリソースを使いますが、動画全体のトランスコードよりははるかに少なくて済みます。実際の処理経路を把握するには、ストリームごとに再生状況を診断してください。

テクノロジー&AIハブ

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.