Jak transkodowanie dźwięku zmienia przepływ odtwarzania na serwerze multimediów?

Eva Wong jest redaktorką techniczną i rezydentką majsterkowania w ZimaSpace. Jest geekiem od zawsze, z pasją do domowych laboratoriów i oprogramowania open source, a jej specjalnością jest przekładanie złożonych zagadnień technicznych na przystępne, praktyczne poradniki. Eva wierzy, że samodzielne hostowanie powinno sprawiać radość, a nie onieśmielać. Dzięki swoim samouczkom pomaga społeczności oswoić konfigurację sprzętu, od budowy pierwszego serwera NAS po opanowanie kontenerów Docker.

Transkodowanie audio zmienia przebieg odtwarzania na serwerze multimedialnym, gdy klient może odtwarzać wideo, ale nie potrafi dekodować wybranego kodeka audio, układu kanałów, formatu próbek lub kombinacji kontenera i kodeka. Serwer może zachować oryginalny strumień bitów wideo, jednocześnie dekodując i przetwarzając na nowo wyłącznie ścieżkę audio.

Jest to znacznie mniej kosztowne niż pełne transkodowanie wideo, ale nadal wymaga zasobów. Serwer wciąż negocjuje kodeki, dekoduje audio, miksuje kanały lub zmienia częstotliwość próbkowania, koduje, synchronizuje znaczniki czasu, multipleksuje strumienie, a czasem generuje segmenty, zanim odtwarzanie będzie mogło być kontynuowane.

Jaki test zgodności powoduje transkodowanie audio?

Serwer multimedialny porównuje strumienie źródłowe z profilem klienta, zanim wybierze sposób odtwarzania. obsługa kodeków przez klienta decyduje o metodzie odtwarzania. Telewizor może obsługiwać kodek wideo, ale nie akceptować TrueHD, DTS, wielokanałowego AAC lub określonego układu kanałów.

Direct Play wymaga, aby klient akceptował plik w jego obecnej postaci. Direct Stream może zachować zgodne strumienie, zmieniając kontener, a transkodowanie samego audio może zastąpić jeden niezgodny strumień audio bez dekodowania wideo.

Wybór mogą też zmienić wybrane napisy, ustawienie przepustowości zdalnego odtwarzania, aplikacja do odtwarzania, urządzenie audio HDMI lub przeglądarka. Zgodność zależy od całego łańcucha odtwarzania, a nie tylko od matrycy wyświetlacza.

Dlaczego strumień wideo może pozostać niezmieniony?

Kontener multimedialny zawiera osobne strumienie wideo, audio i napisów. wideo może pozostać kopiowane, podczas gdy audio jest konwertowane, dzięki czemu serwer może skopiować skompresowane pakiety wideo do nowego pliku wyjściowego, zamiast dekodować każdą klatkę.

Kopiowanie strumienia wideo zachowuje oryginalny kodek, rozdzielczość, liczbę klatek na sekundę, informacje HDR i jakość kompresji. Pozwala też uniknąć obciążenia GPU lub CPU związanego z dekodowaniem, skalowaniem, mapowaniem tonów i kodowaniem wideo.

Wynik nadal wymaga zsynchronizowanych znaczników czasu oraz kontenera lub metody dostarczania akceptowanej przez klienta. Pozostawienie niezmienionego obrazu eliminuje więc najbardziej kosztowną transformację, ale nie pomija pozostałych etapów przetwarzania.

Co dzieje się podczas dekodowania, miksowania, ponownego próbkowania i kodowania?

Transkodowanie przekształca skompresowane źródło w inną postać. Transkodowanie dźwięku polega na dekodowaniu i ponownym kodowaniu jednego strumienia. W przypadku dźwięku serwer najpierw dekoduje skompresowane próbki do postaci pośredniej zbliżonej do PCM.

Następnie może zmiksować 7.1 lub 5.1 do stereo, zmienić mapowanie kanałów, dostosować częstotliwość próbkowania lub przekonwertować format próbek, a potem zakodować wynik jako AAC, AC-3, Opus, MP3 lub inny kodek obsługiwany przez klienta.

Każdy etap zużywa procesor i przepustowość pamięci oraz może buforować próbki. Kodowanie dźwięku zwykle wymaga znacznie mniej zasobów niż kodowanie wideo, ale kilka równoczesnych strumieni, dźwięk o wysokiej rozdzielczości, kodeki obsługiwane wyłącznie programowo lub niewielki serwer domowy nadal mogą powodować zauważalne obciążenie.

Dlaczego może się też zmienić kontener lub protokół transmisji?

Przekonwertowany dźwięk i kopiowane wideo muszą być dostarczone w kompatybilnej strukturze. Pakowanie HLS dodaje manifesty i segmenty multimedialne, więc serwer może zmieniać opakowanie strumieni oraz tworzyć manifesty i segmenty, nawet gdy obraz wideo pozostaje bez zmian.

Klient, który nie obsługuje oryginalnego kontenera MKV, może zaakceptować to samo wideo w formacie fragmentowanego MP4, MPEG-TS lub innym formacie strumieniowym. Tę ścieżkę często nazywa się Direct Stream, ponieważ w przypadku kompatybilnych strumieni kompresja zostaje zachowana, a zmienia się sposób ich opakowania.

Segmentacja powoduje buforowanie i wyznacza granice znaczników czasu. Serwer musi utrzymywać synchronizację nowo zakodowanego dźwięku z kopiowanym wideo podczas przewijania, zmiany ścieżki, nieciągłości i aktualizacji list odtwarzania na żywo.

Jak wybór formatu audio wpływa na synchronizację, jakość i obciążenie serwera?

Każde ponowne kodowanie stratne może zmienić jakość, a transkodowanie to kompromis między kompatybilnością a mocą obliczeniową i jakością. Niższa przepływność lub miksowanie wielokanałowego dźwięku do stereo zmniejszają wymagania dotyczące transmisji, ale nie pozwalają zachować wszystkich cech oryginalnej ścieżki przestrzennego dźwięku.

Filtry audio zwiększają opóźnienie i muszą zachowywać znaczniki czasu prezentacji. Nieprawidłowa obsługa znaczników czasu, długie bufory kodera lub ponowne uruchomienie potoku mogą powodować rozjeżdżanie się synchronizacji obrazu i dźwięku, mimo że sam strumień wideo nie został ponownie zakodowany.

Akceleracja sprzętowa może pomóc przy wideo, ale nie przy wybranym kodeku audio, dlatego panel może pokazywać kopiowanie strumienia wideo przy niezerowym użyciu procesora. Właściwe porównanie to transkodowanie samego dźwięku z pełnym transkodowaniem wideo, a nie z całkowicie bezczynnym serwerem.

Kiedy transkodowanie dźwięku prowadzi do pełnego transkodowania wideo?

wypalanie napisów zmienia sam strumień wideo. Niezgodny kodek wideo, limit rozdzielczości, ograniczenie przepływności, konieczność mapowania tonów lub napisy w formie obrazu również mogą zmusić serwer do dekodowania i kodowania wideo.

Przetwarzanie staje się wtedy znacznie bardziej obciążające: dekodowanie wideo, filtrowanie, skalowanie lub mapowanie tonów, kodowanie wideo, konwersja dźwięku i multipleksowanie mogą odbywać się jednocześnie. Niezgodność dźwięku była tylko jednym z powodów, dla których nie można było bezpośrednio dostarczyć oryginalnego pliku.

Sprawdzaj decyzję serwera o sposobie odtwarzania osobno dla każdego strumienia, zamiast określać całą sesję po prostu jako „transkodowanie”. Kopiowanie strumienia połączone z konwersją dźwięku wiąże się z inną jakością, zużyciem energii i limitem równoczesnych sesji niż pełne transkodowanie wideo.

Ścieżka odtwarzania Wideo Dźwięk Główne zadania serwera
Direct Play Oryginalny Oryginalny Dostarczanie pliku i obsługa protokołu
Direct Stream Kopiowany Oryginalny lub konwertowany Ponowne pakowanie i ewentualna konwersja dźwięku
Transkodowanie samego dźwięku Kopiowany Dekodowany i ponownie kodowany Filtry audio, kodowanie, multipleksowanie, synchronizacja
Pełne transkodowanie Dekodowany i ponownie kodowany Kopiowany lub konwertowany Przetwarzanie wideo i pozostałe etapy przesyłania

FAQ

Czy transkodowanie dźwięku obniża jakość wideo?

Nie, jeśli strumień wideo jest kopiowany bez zmian. Jakość wideo zmienia się tylko wtedy, gdy serwer dekoduje i ponownie koduje również wideo.

Dlaczego klient stereo powoduje transkodowanie?

Źródło może używać nieobsługiwanego kodeka lub układu wielokanałowego, co wymaga od serwera dekodowania, miksowania do mniejszej liczby kanałów i kodowania zgodnej ścieżki stereo.

Czy transkodowanie dźwięku może powodować buforowanie?

Tak, jeśli serwer nie nadąża z kodowaniem, generowanie segmentów się opóźnia, znaczniki czasu się rozjeżdżają albo ograniczone są pozostałe elementy ścieżki sieciowej i pamięci masowej.

Czy Direct Stream to to samo co Direct Play?

Nie. Direct Play wysyła plik w oryginalnej strukturze, a Direct Stream ponownie pakuje zgodne strumienie i może transkodować tylko nieobsługiwany strumień.

Podsumowanie

Transkodowanie dźwięku zastępuje niezgodny strumień audio, często zachowując oryginalny strumień wideo. Serwer nadal dekoduje, miksuje, zmienia częstotliwość próbkowania, koduje, synchronizuje i ponownie pakuje multimedia, więc sesja zużywa więcej zasobów niż Direct Play, ale znacznie mniej niż pełne transkodowanie wideo. Analizuj odtwarzanie osobno dla każdego strumienia, aby zrozumieć rzeczywisty przebieg przetwarzania.

Centrum technologii i AI

Więcej do przeczytania

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.