Dlaczego wtopienie napisów zwiększa koszty transkodowania w serwerze multimedialnym?

Wypalenie napisów zwiększa koszt transkodowania na serwerze multimediów, ponieważ napisy nie są już dostarczane jako osobny, wybieralny tor. Serwer musi wyrenderować każdą wskazówkę w obrazie wideo, tworząc nowe piksele, które wymagają dekodowania, filtrowania i kodowania źródła do strumienia zastępczego.

Może to zmienić inaczej kompatybilną sesję Direct Play lub Direct Stream w pełne transkodowanie wideo. Koszt zależy od rozdzielczości, kodeka, liczby klatek na sekundę, formatu napisów, stylizacji, akceleracji sprzętowej oraz tego, czy klient mógłby wyrenderować tor napisów lokalnie.

Co się zmienia, gdy napisy są wypalone w wideo?

wypalone napisy stają się częścią każdej klatki. Nie są już niezależnym strumieniem tekstowym lub bitmapowym, który odtwarzacz może włączać, wyłączać, zmieniać rozmiar lub zastępować bez zmiany wideo.

Osobny tor napisów zawiera czas oraz tekst, stylizację lub obrazy. Klient może połączyć ten tor z dekodowanym wideo podczas odtwarzania, jeśli obsługuje format i funkcje renderowania.

Burn-in przenosi etap kompozycji na serwer. Serwer multimediów musi stworzyć nową reprezentację wideo, której skompresowane klatki już zawierają glify, kontury, kolory, pozycjonowanie i animacje.

Dlaczego wypalenie napisów powoduje pełne transkodowanie wideo?

wypalenie napisów powoduje pełne transkodowanie wideo, ponieważ skompresowanych pakietów wideo zwykle nie można zmienić przez dołączenie do nich tekstu napisów. Napisy muszą być zastosowane po dekodowaniu i przed nowym kodowaniem.

Remuxing może kopiować kompatybilne pakiety wideo do innego kontenera, a transkodowanie audio może pozostawić wideo nietknięte. Burn-in jest inne, ponieważ zmienia faktyczną zawartość obrazu strumienia wideo.

Nawet gdy rozdzielczość i przepływność źródła pozostają akceptowalne, zmienione piksele wymagają nowego skompresowanego strumienia bitów. Serwer nie może zachować oryginalnego zakodowanego wideo, jednocześnie twierdząc, że napisy są obecne w każdej wyświetlanej klatce.

Które etapy sprawiają, że proces transkodowania jest kosztowny?

serwer dekoduje, filtruje i ponownie koduje wideo. Parsowanie i renderowanie napisów jest wstawiane do etapu filtrów pomiędzy dekodowaniem źródła a kodowaniem wyjścia.

Przy 4K lub wysokich liczbach klatek proces przetwarza miliony pikseli na każdą klatkę. Kształtowanie czcionek, obrysy, cienie, skalowanie, konwersja kolorów, mapowanie tonów i zmiana rozmiaru mogą być łączone z nakładką napisów.

Serwer musi też działać szybciej niż w czasie rzeczywistym i utrzymywać bufor wyjściowy. Proces kodowania z prędkością 0,8x prędkości odtwarzania ostatecznie się zatrzyma, nawet jeśli pierwsze kilka sekund zacznie się pomyślnie.

Dlaczego formaty napisów zmieniają koszty?

napisy obrazkowe wymagają nakładek pikselowych. PGS i VobSub zawierają już grafikę bitmapową, podczas gdy ASS lub SSA mogą zawierać czcionki, pozycje, kolory, efekty i animowane style.

Proste napisy tekstowe SRT lub WebVTT są łatwiejsze do bezpośredniego renderowania dla wielu klientów. Złożone style ASS mogą nie być obsługiwane lub renderowane inaczej, co powoduje, że serwer musi je wypalić, aby zachować zamierzony wygląd.

Ścieżki napisów obrazkowych nie mogą być też przekształcone w zwykły tekst bez rozpoznawania. Serwer musi kompozytować ich bitmapowe wskazówki w odpowiednim czasie i skalować je wraz z wyjściem wideo.

Dlaczego przyspieszenie sprzętowe nadal może powodować wąskie gardło?

przyspieszenie sprzętowe może obejmować tylko część procesu. Dekodowanie i kodowanie mogą działać na GPU lub silniku multimedialnym, podczas gdy parsowanie napisów, renderowanie czcionek lub niektóre operacje filtrów pozostają na CPU.

Gdy klatki przechodzą z dekodowania sprzętowego do pamięci systemowej na nakładkę CPU, a następnie z powrotem do kodowania sprzętowego, kopiowanie pamięci i synchronizacja mogą zniwelować część korzyści z przyspieszenia. Ścieżka zero-copy jest trudniejsza do utrzymania, gdy jeden filtr nie ma wsparcia sprzętowego.

Wynik może być mylący podczas monitorowania: dekodowanie i kodowanie GPU są aktywne, ale jeden etap napisów zależny od CPU ogranicza cały proces. Całkowite użycie CPU może wyglądać na umiarkowane, gdy ograniczający renderer używa tylko niewielkiej liczby wątków.

Jak domowy serwer multimedialny może uniknąć kosztów wypalania napisów?

napisy kompatybilne z klientem unikają renderowania klatek. Format tekstowy, taki jak SRT lub WebVTT, jest często najprostszą opcją, gdy odtwarzacz je obsługuje.

Wybieraj klientów, którzy renderują popularne formaty napisów w bibliotece, trzymaj zewnętrzne napisy tekstowe obok plików multimedialnych lub twórz kompatybilne ścieżki napisów podczas przygotowywania biblioteki. Dla często oglądanych treści wersja wstępnie wygenerowana może przenieść koszt kodowania poza czas odtwarzania.

Sprawdź powód transkodowania sesji przed zakupem szybszego sprzętu. przetwarzanie napisów może stać się wąskim gardłem buforowania, podczas gdy ten sam plik może być odtwarzany bezproblemowo w trybie Direct Play, gdy napisy są wyłączone lub renderowane przez innego klienta.

FAQ

Czy każda ścieżka napisów wymusza transkodowanie wideo?

Nie. Kompatybilni klienci mogą samodzielnie renderować wiele formatów napisów tekstowych i obrazkowych. Wypalanie występuje, gdy klient nie potrafi odtworzyć wybranego ścieżki lub serwer jest skonfigurowany, by je wymusić.

Czy sprzętowe transkodowanie może wyeliminować wypalanie napisów?

Nie. Sprzęt może przyspieszyć dekodowanie, skalowanie i kodowanie, ale parsowanie i nakładanie napisów może nadal wymagać dodatkowego przetwarzania lub transferu klatek między pamięcią sprzętową a systemową.

Dlaczego SRT można odtwarzać bezpośrednio, a ASS wymaga wypalania?

SRT zawiera prosty tekst zsynchronizowany czasowo, który obsługuje wielu klientów. ASS może wymagać czcionek, pozycjonowania, stylów i efektów, których klient nie potrafi odtworzyć, dlatego serwer renderuje zamierzony efekt bezpośrednio w wideo.

Czy konwersja napisów obniży jakość obrazu?

Konwersja napisów obrazkowych na tekst może spowodować utratę stylizacji lub zawierać błędy rozpoznawania. Konwersja złożonych napisów ASS do SRT zwykle usuwa zaawansowane formatowanie, ale pozwala na pozostawienie oryginalnego wideo bez zmian.

Ostateczne wnioski

Wypalanie napisów jest kosztowne, ponieważ zmienia piksele wideo, a nie tylko metadane. Serwer multimediów musi zdekodować źródło, wyrenderować zsynchronizowane napisy, nałożyć je na każdą zmienioną klatkę i zakodować nowy strumień na tyle szybko, by umożliwić odtwarzanie. Kompatybilność klienta, prostsze formaty napisów, pełne wsparcie sprzętowych filtrów oraz wersje wstępnie wygenerowane mogą zapobiec przekształceniu lekkiego strumienia w pełne transkodowanie w czasie rzeczywistym.