Hur förändrar ljudtranskodning en mediaservers uppspelningskedja?

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

Ljudomkodning ändrar medieserverns uppspelningsprocess när klienten kan hantera videon men inte kan avkoda den valda ljudkodeken, kanalkonfigurationen, samplingsformatet eller kombinationen av behållare. Servern kan behålla den ursprungliga videobitströmmen och samtidigt avkoda och återskapa enbart ljuddelen.

Det är betydligt mindre resurskrävande än fullständig videoomkodning, men inte kostnadsfritt. Servern utför fortfarande kodekförhandling, ljudavkodning, ommixning eller omsampling av kanaler, kodning, synkronisering av tidsstämplar, ommuxning och ibland segmentgenerering innan uppspelningen kan fortsätta.

Vilken kompatibilitetskontroll utlöser ljudomkodning?

Medieservern jämför källströmmarna med klientprofilen innan den väljer uppspelningsväg. klientens stöd för kodekar avgör uppspelningsmetoden. En tv kan ha stöd för videokodeken men inte godta TrueHD, DTS, flerkanalig AAC eller en viss kanalkonfiguration.

Direct Play kräver att klienten godtar hela filen som den är lagrad. Direct Stream kan bevara kompatibla strömmar samtidigt som behållaren ändras, och enbart ljudomkodning kan ersätta en inkompatibel ljudström utan att videon avkodas.

Beslutet kan också påverkas av den valda undertexten, inställningen för fjärrbandbredd, uppspelningsappen, HDMI-ljudenheten eller webbläsaren. Kompatibiliteten gäller hela uppspelningskedjan, inte bara bildskärmen.

Varför kan videoströmmen förbli oförändrad?

En mediebehållare innehåller separata video-, ljud- och undertextströmmar. videon kan kopieras medan ljudet konverteras, så att servern kan kopiera komprimerade videopaket till en ny utdata i stället för att avkoda varje bildruta.

Kopiering av videoströmmen bevarar den ursprungliga kodeken, upplösningen, bildfrekvensen, HDR-informationen och den komprimerade kvaliteten. Det undviker också GPU- eller CPU-belastningen som hör till avkodning, skalning, tonmappning och videokodning.

Utdata behöver fortfarande synkroniserade tidsstämplar och en behållare eller leveransmetod som klienten godtar. Att lämna videon oförändrad tar alltså bort den mest resurskrävande omvandlingen, men kringgår inte resten av processen.

Vad händer vid avkodning, ommixning, omsampling och kodning?

Transkodning omvandlar en komprimerad källa till en annan representation. Ljudtranskodning avkodar och kodar om en ström. För ljud avkodar servern först komprimerade ljudprover till en mellanliggande PCM-liknande form.

Därefter kan servern nedmixa 7.1- eller 5.1-kanaler till stereo, ändra kanalmappning, justera samplingsfrekvensen eller konvertera samplingsformatet innan resultatet kodas som AAC, AC-3, Opus, MP3 eller en annan kodek som stöds av klienten.

Varje steg förbrukar CPU-resurser och minnesbandbredd och kan buffra ljudprover. Ljudkodning kräver vanligtvis betydligt mindre resurser än videokodning, men flera samtidiga strömmar, högupplöst ljud, programvarubaserade kodekar eller en liten hemmaserver kan ändå göra belastningen märkbar.

Varför kan även behållarformatet eller leveransprotokollet ändras?

Det konverterade ljudet och den kopierade videon måste levereras i en kompatibel struktur. HLS-paketering lägger till manifest och mediesegment, så en server kan göra om behållarformatet för strömmarna och skapa manifest och segment även när videopixlarna är oförändrade.

En klient som inte godtar det ursprungliga MKV-behållarformatet kan godta samma video i fragmenterad MP4, MPEG-TS eller ett annat strömningsformat. Den här metoden kallas ofta Direct Stream, eftersom komprimeringen bevaras för kompatibla strömmar medan paketeringen ändras.

Segmentering medför buffring och tidsstämpelgränser. Servern måste hålla det nykodade ljudet synkroniserat med den kopierade videon vid sökning, spårbyten, avbrott och uppdateringar av spellistor för direktsändning.

Hur påverkar ljudval synkronisering, kvalitet och serverbelastning?

Varje omkodning med kvalitetsförlust kan förändra kvaliteten, medan transkodning innebär en avvägning mellan kompatibilitet, beräkningskraft och kvalitet. En lägre bithastighet eller nedmixning till stereo minskar kraven vid uppspelning, men kan inte bevara alla egenskaper hos det ursprungliga immersiva ljudspåret.

Ljudfilter ger extra fördröjning och måste bevara presentationstidsstämplar. Felaktig hantering av tidsstämplar, långa kodarbuffertar eller en omstart av medieflödet kan orsaka läppsynkförskjutning, trots att videoströmmen aldrig kodades om.

Hårdvaruacceleration kan hjälpa till med video men inte med den valda ljudkodeken, så en kontrollpanel kan visa kopiering av videoströmmen samtidigt som CPU-användningen inte är noll. Rätt jämförelse är ljudtranskodning jämfört med fullständig videotranskodning, inte jämfört med en helt inaktiv server.

När leder ljudtranskodning till fullständig videotranskodning?

inbränning av undertexter ändrar själva videoströmmen. En inkompatibel videokodek, upplösningsgräns, bithastighetsgräns, tonmappningskrav eller bildbaserad undertext kan också tvinga servern att avkoda och koda om videon.

Arbetsflödet blir då betydligt tyngre: videoavkodning, filtrering, skalning eller tonmappning, videokodning, ljudkonvertering och muxning kan alla ske samtidigt. Ljudinkompatibilitet var bara en av anledningarna till att den ursprungliga filen inte kunde levereras direkt.

Kontrollera serverns uppspelningsbeslut för varje ström i stället för att bara kalla hela sessionen ”transkodning”. Strömkopiering plus ljudkonvertering har andra begränsningar för kvalitet, strömförbrukning och samtidighet än en fullständig videotranskodning.

Uppspelningsväg Video Ljud Serverns huvudsakliga arbete
Direct Play Original Original Filöverföring och protokollhantering
Direct Stream Kopieras Original eller konverterat Remuxning och eventuell ljudkonvertering
Enbart ljudtranskodning Kopieras Avkodas och kodas om Ljudfilter, kodning, muxning, synkronisering
Fullständig transkodning Avkodas och kodas om Kopieras eller konverteras Videobearbetning plus resten av leveranskedjan

Vanliga frågor

Försämrar ljudtranskodning videokvaliteten?

Inte när videoströmmen kopieras oförändrad. Videokvaliteten ändras bara om servern också avkodar och kodar om videon.

Varför utlöser en stereoklient transkodning?

Källan kan använda en kodek eller flerkanalslayout som inte stöds, vilket kräver att servern avkodar, mixar ner och kodar ett kompatibelt stereospår.

Kan ljudtranskodning orsaka buffring?

Ja, om servern inte kan koda tillräckligt snabbt, segmentgenereringen dröjer, tidsstämplarna glider eller den återstående nätverks- och lagringsvägen är begränsad.

Är Direct Stream samma sak som Direct Play?

Nej. Direct Play skickar den ursprungliga filstrukturen, medan Direct Stream remuxar kompatibla strömmar och eventuellt transkodar endast en ström som inte stöds.

Slutsats

Ljudtranskodning ersätter en inkompatibel ljudström och bevarar ofta den ursprungliga videobitströmmen. Servern måste fortfarande avkoda, mixa om, sampla om, koda, synkronisera och paketera om medierna, så sessionen använder mer resurser än Direct Play men betydligt färre än en fullständig videotranskodning. Diagnostisera uppspelningen per ström för att förstå det faktiska arbetsflödet.

Teknik- och AI-hubb

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.