Jak transkodowanie dźwięku zmienia proces odtwarzania w serwerze multimedialnym?

Transkodowanie audio zmienia proces odtwarzania na serwerze multimedialnym, gdy klient może akceptować wideo, ale nie potrafi dekodować wybranego kodeka audio, układu kanałów, formatu próbek lub kombinacji kontenera. Serwer może zachować oryginalny strumień wideo, dekodując i odbudowując tylko ścieżkę audio.

Jest to znacznie tańsze niż pełne transkodowanie wideo, ale nie jest darmowe. Serwer nadal wykonuje negocjację kodeków, dekodowanie audio, miksowanie lub próbkowanie kanałów, kodowanie, wyrównywanie znaczników czasu, remuksowanie i czasem generowanie segmentów, zanim odtwarzanie może być kontynuowane.

Jaki test kompatybilności wywołuje transkodowanie audio?

Serwer multimedialny porównuje strumienie źródłowe z profilem klienta przed wybraniem ścieżki odtwarzania. obsługa kodeków przez klienta wybiera metodę odtwarzania. Telewizor może obsługiwać kodek wideo, ale odrzucać TrueHD, DTS, wielokanałowe AAC lub określony układ kanałów.

Direct Play wymaga, aby klient akceptował cały plik w takiej formie, w jakiej jest zapisany. Direct Stream może zachować kompatybilne strumienie, zmieniając kontener, a transkodowanie tylko audio może zastąpić jeden niekompatybilny strumień audio bez dekodowania wideo.

Decyzja może się również zmieniać w zależności od wybranego napisu, ustawienia zdalnej przepustowości, aplikacji odtwarzającej, urządzenia audio HDMI lub przeglądarki. Kompatybilność dotyczy całego łańcucha odtwarzania, a nie tylko panelu wyświetlacza.

Dlaczego strumień wideo może pozostać niezmieniony?

Kontener multimedialny przechowuje oddzielne strumienie wideo, audio i napisów. wideo może pozostać skopiowane, podczas gdy audio jest konwertowane, co pozwala serwerowi kopiować skompresowane pakiety wideo do nowego wyjścia zamiast dekodować każdą klatkę.

Kopiowanie strumienia wideo zachowuje oryginalny kodek, rozdzielczość, liczbę klatek na sekundę, informacje HDR oraz skompresowaną jakość. Unika także obciążenia GPU lub CPU związanego z dekodowaniem, skalowaniem, mapowaniem tonów i kodowaniem wideo.

Wynik nadal wymaga zsynchronizowanych znaczników czasu oraz kontenera lub metody dostarczania akceptowanej przez klienta. Zachowanie niezmienionego wideo usuwa więc najdroższą transformację, ale nie omija reszty procesu.

Co się dzieje podczas dekodowania, miksowania, próbkowania i kodowania?

Transkodowanie konwertuje skompresowane źródło na inną reprezentację. Transkodowanie audio dekoduje i ponownie koduje jeden strumień. Dla audio serwer najpierw dekoduje skompresowane próbki do pośredniej formy podobnej do PCM.

Następnie może zmiksować kanały 7.1 lub 5.1 do stereo, zmienić mapowanie kanałów, dostosować częstotliwość próbkowania lub przekonwertować format próbek przed zakodowaniem wyniku jako AAC, AC-3, Opus, MP3 lub inny kodek obsługiwany przez klienta.

Każdy etap zużywa CPU i przepustowość pamięci oraz może buforować próbki. Kodowanie audio jest zwykle znacznie lżejsze niż kodowanie wideo, ale kilka jednoczesnych strumieni, audio wysokiej rozdzielczości, kodeki wyłącznie programowe lub mały serwer domowy mogą nadal powodować zauważalne obciążenie.

Dlaczego kontener lub protokół dostarczania również mogą się zmienić?

Przekonwertowane audio i kopiowane wideo muszą być dostarczone w kompatybilnej strukturze. Pakowanie HLS dodaje manifesty i segmenty mediów, więc serwer może remuxować strumienie i generować manifesty oraz segmenty nawet wtedy, gdy piksele wideo pozostają niezmienione.

Klient, który odrzuca oryginalny kontener MKV, może zaakceptować to samo wideo w formacie fragmented MP4, MPEG-TS lub innym formacie strumieniowym. Ta ścieżka jest często nazywana Direct Stream, ponieważ kompresja jest zachowana dla kompatybilnych strumieni, podczas gdy zmienia się pakowanie.

Segmentacja wprowadza buforowanie i granice znaczników czasowych. Serwer musi utrzymać nowo zakodowane audio wyrównane z kopiowanym wideo podczas przewijania, zmiany ścieżek, przerw i aktualizacji listy odtwarzania na żywo.

Jak wybory audio wpływają na synchronizację, jakość i obciążenie serwera?

Każde stratne ponowne kodowanie może zmienić jakość, podczas gdy transkodowanie wymienia kompatybilność na moc obliczeniową i jakość. Niższy bitrate lub miks stereo zmniejsza wymagania dotyczące dostarczania, ale nie może zachować wszystkich cech oryginalnego ścieżki immersyjnej.

Filtry audio dodają opóźnienie i muszą zachować znaczniki czasowe prezentacji. Nieprawidłowe obsługiwanie znaczników czasowych, długie bufory enkodera lub restart potoku mogą powodować przesunięcie synchronizacji ust, mimo że sam strumień wideo nigdy nie był ponownie kodowany.

Sprzętowe przyspieszenie może pomóc wideo, ale nie wybranemu kodekowi audio, więc panel może pokazywać kopiowanie strumienia wideo obok niezerowego użycia CPU. Poprawne porównanie to transkodowanie tylko audio versus pełne transkodowanie wideo, a nie versus całkowicie bezczynny serwer.

Kiedy transkodowanie audio eskaluje do pełnego transkodowania wideo?

wypalanie napisów zmienia sam strumień wideo. Niekompatybilny kodek wideo, limit rozdzielczości, ograniczenie bitrate, wymóg mapowania tonalnego lub napisy obrazkowe mogą podobnie wymusić na serwerze dekodowanie i kodowanie wideo.

Proces staje się wtedy znacznie bardziej obciążający: dekodowanie wideo, filtrowanie, skalowanie lub mapowanie tonalne, kodowanie wideo, konwersja audio i muxowanie mogą działać razem. Niekompatybilność audio była tylko jednym z powodów, dla których oryginalny plik nie mógł być dostarczony bezpośrednio.

Sprawdź decyzję serwera dotyczącą odtwarzania dla każdego strumienia, zamiast nazywać całą sesję po prostu „transkodowaniem”. Kopiowanie strumienia plus konwersja audio mają inne ograniczenia jakości, mocy i współbieżności niż pełne transkodowanie wideo.

FAQ

Czy transkodowanie audio obniża jakość wideo?

Nie, gdy strumień wideo jest kopiowany bez zmian. Jakość wideo zmienia się tylko wtedy, gdy serwer również dekoduje i ponownie koduje wideo.

Dlaczego klient stereo wywołuje transkodowanie?

Źródło może używać nieobsługiwanego kodeka lub układu wielokanałowego, co wymaga od serwera dekodowania, miksowania do stereo i kodowania kompatybilnego ścieżki stereo.

Czy transkodowanie audio może powodować buforowanie?

Tak, gdy serwer nie może kodować wystarczająco szybko, generowanie segmentów czeka, znaczniki czasu się przesuwają lub pozostała ścieżka sieciowa i magazynowa jest ograniczona.

Czy Direct Stream to to samo co Direct Play?

Nie. Direct Play wysyła oryginalną strukturę pliku, podczas gdy Direct Stream remuxuje kompatybilne strumienie i może transkodować tylko nieobsługiwany strumień.

Ostateczne wnioski

Transkodowanie audio zastępuje niekompatybilny strumień audio, często zachowując oryginalny strumień wideo. Serwer nadal dekoduje, miksuje, zmienia próbki, koduje, synchronizuje i pakuje media, więc sesja zużywa więcej zasobów niż Direct Play, ale znacznie mniej niż pełne transkodowanie wideo. Diagnozuj odtwarzanie dla każdego strumienia, aby zrozumieć rzeczywisty proces.