오디오 트랜스코딩은 미디어 서버의 재생 파이프라인을 어떻게 바꾸나요?

Eva Wong 는 테크니컬 라이터 이자 상주 메이커 로 ZimaSpace에서 활동합니다. 평생 기술을 사랑해 온 그녀는 홈랩과 오픈 소스 소프트웨어에 열정을 품고 있으며, 복잡한 기술 개념을 누구나 이해하기 쉬운 실습 가이드로 풀어내는 데 전문성을 갖추고 있습니다. Eva는 셀프 호스팅이 어렵고 부담스러운 일이 아니라 즐거워야 한다고 믿습니다. 그녀는 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 어려움을 풀어내고, 첫 NAS를 조립하는 것부터 Docker 컨테이너를 능숙하게 다루는 것까지 도전하도록 돕습니다.

클라이언트가 비디오는 지원하지만 선택한 오디오 코덱, 채널 구성, 샘플 형식 또는 컨테이너 조합을 디코딩할 수 없으면 오디오 트랜스코딩으로 미디어 서버의 재생 파이프라인이 바뀝니다. 서버는 원본 비디오 비트스트림을 유지하면서 오디오 경로만 디코딩하고 다시 구성할 수 있습니다.

이는 비디오 전체를 트랜스코딩하는 것보다 훨씬 부담이 적지만, 비용이 전혀 들지 않는 것은 아닙니다. 재생이 계속되기 전에 서버는 코덱 협상, 오디오 디코딩, 채널 리믹싱 또는 리샘플링, 인코딩, 타임스탬프 동기화, 리먹싱, 경우에 따라 세그먼트 생성까지 수행합니다.

어떤 호환성 확인으로 오디오 트랜스코딩이 시작되나요?

미디어 서버는 재생 경로를 선택하기 전에 원본 스트림과 클라이언트 프로필을 비교합니다. 클라이언트의 코덱 지원 여부에 따라 재생 방식이 결정됩니다. TV가 비디오 코덱은 지원해도 TrueHD, DTS, 멀티채널 AAC 또는 특정 채널 구성을 지원하지 않을 수 있습니다.

Direct Play는 클라이언트가 저장된 상태 그대로의 전체 파일을 지원해야 합니다. Direct Stream은 호환되는 스트림을 유지하면서 컨테이너를 변경할 수 있고, 오디오만 트랜스코딩하면 호환되지 않는 오디오 스트림 하나를 비디오 디코딩 없이 교체할 수 있습니다.

선택한 자막, 원격 재생 대역폭 설정, 재생 앱, HDMI 오디오 기기, 브라우저에 따라 결정이 달라질 수도 있습니다. 호환성은 디스플레이 패널만이 아니라 전체 재생 체인에 달려 있습니다.

비디오 스트림은 왜 그대로 둘 수 있나요?

미디어 컨테이너에는 비디오, 오디오, 자막 스트림이 각각 담깁니다. 비디오는 그대로 복사하면서 오디오는 변환할 수 있으므로, 서버는 모든 프레임을 디코딩하는 대신 압축된 비디오 패킷을 새 출력으로 복사할 수 있습니다.

비디오 스트림 복사는 원본 코덱, 해상도, 프레임 레이트, HDR 정보, 압축 품질을 그대로 보존합니다. 또한 디코딩, 스케일링, 톤 매핑, 비디오 인코딩에 필요한 GPU 또는 CPU 작업을 피할 수 있습니다.

출력에는 여전히 동기화된 타임스탬프와 클라이언트가 지원하는 컨테이너 또는 전송 방식이 필요합니다. 따라서 비디오를 변경하지 않으면 가장 비용이 많이 드는 변환은 생략되지만, 파이프라인의 나머지 과정까지 건너뛰는 것은 아닙니다.

디코드, 리믹스, 리샘플링, 인코딩 과정에서는 어떤 일이 일어날까요?

트랜스코딩은 압축된 원본을 다른 형태로 변환합니다. 오디오 트랜스코딩은 한 스트림을 디코딩한 후 다시 인코딩합니다. 오디오의 경우 서버는 먼저 압축된 샘플을 PCM과 유사한 중간 형식으로 디코딩합니다.

그런 다음 7.1 또는 5.1채널을 스테레오로 다운믹스하고, 채널 매핑을 변경하고, 샘플 레이트를 조정하거나, 샘플 형식을 변환한 뒤 AAC, AC-3, Opus, MP3 또는 클라이언트가 지원하는 다른 코덱으로 인코딩할 수 있습니다.

각 단계는 CPU와 메모리 대역폭을 사용하고 샘플을 버퍼링할 수 있습니다. 오디오 인코딩은 보통 비디오 인코딩보다 훨씬 가볍지만, 동시에 여러 스트림을 처리하거나 고해상도 오디오를 사용하거나 소프트웨어 전용 코덱을 사용하면 소형 홈 서버에서도 부하가 눈에 띌 수 있습니다.

컨테이너나 전송 프로토콜도 변경될 수 있는 이유는 무엇일까요?

The converted audio and copied video must be delivered in a compatible structure. HLS packaging adds manifests and media segments, so a server may remux streams and produce manifests and segments even when video pixels are unchanged.

원본 MKV 컨테이너를 거부하는 클라이언트도 동일한 비디오를 분할 MP4, MPEG-TS 또는 다른 스트리밍 형식으로 넣으면 재생할 수 있습니다. 이 방식은 흔히 Direct Stream이라고 하며, 호환되는 스트림의 압축은 그대로 유지하면서 패키징을 변경합니다.

세그먼트화 과정에서 버퍼링과 타임스탬프 경계가 생깁니다. 서버는 탐색, 트랙 변경, 불연속 구간, 실시간 재생목록 업데이트 중에도 새로 인코딩한 오디오를 복사된 비디오와 동기화해야 합니다.

오디오 선택은 동기화, 품질, 서버 부하에 어떤 영향을 미칠까요?

손실이 있는 재인코딩을 할 때마다 품질이 달라질 수 있으며, 트랜스코딩은 호환성을 위해 컴퓨팅 리소스와 품질을 절충합니다. 비트레이트를 낮추거나 스테레오로 다운믹스하면 전송에 필요한 리소스는 줄어들지만 원본 몰입형 트랙의 모든 특성을 보존할 수는 없습니다.

오디오 필터는 지연을 추가하므로 표시 타임스탬프를 보존해야 합니다. 타임스탬프 처리 오류, 긴 인코더 버퍼 또는 파이프라인 재시작으로 인해 비디오 스트림 자체를 다시 인코딩하지 않았는데도 립싱크가 어긋날 수 있습니다.

하드웨어 가속은 비디오에는 도움이 될 수 있지만 선택한 오디오 코덱에는 도움이 되지 않을 수 있으므로, 대시보드에는 비디오 스트림 복사와 0이 아닌 CPU 사용량이 함께 표시될 수 있습니다. 올바른 비교 대상은 오디오만 트랜스코딩하는 경우와 비디오 전체를 트랜스코딩하는 경우이지, 서버가 완전히 유휴 상태인 경우가 아닙니다.

오디오 트랜스코딩은 언제 전체 비디오 트랜스코딩으로 이어지나요?

자막을 영상에 입히면 비디오 스트림 자체가 변경됩니다. 호환되지 않는 비디오 코덱, 해상도 제한, 비트레이트 제한, 톤 매핑 필요성 또는 이미지 자막도 마찬가지로 서버가 비디오를 디코딩하고 인코딩하게 만들 수 있습니다.

그러면 파이프라인은 훨씬 무거워집니다. 비디오 디코딩, 필터링, 크기 조정 또는 톤 매핑, 비디오 인코딩, 오디오 변환, 멀티플렉싱이 모두 동시에 진행될 수 있습니다. 오디오 비호환성은 원본 파일을 직접 전송할 수 없었던 여러 이유 중 하나일 뿐입니다.

세션 전체를 단순히 “트랜스코딩”이라고 부르는 대신 스트림별로 서버의 재생 방식을 확인하세요. 스트림 복사와 오디오 변환은 전체 비디오 트랜스코딩과 화질, 전력 소모, 동시 처리 한도가 다릅니다.

재생 경로 비디오 오디오 주요 서버 작업
Direct Play 원본 원본 파일 전송 및 프로토콜 처리
Direct Stream 복사 원본 또는 변환됨 리먹싱 및 오디오 변환 가능성
오디오만 트랜스코딩 복사 디코딩 및 재인코딩 오디오 필터링, 인코딩, 멀티플렉싱, 동기화
전체 트랜스코딩 디코딩 및 재인코딩 복사 또는 변환 비디오 처리 및 나머지 전송 파이프라인

자주 묻는 질문

오디오 트랜스코딩은 비디오 화질을 낮추나요?

비디오 스트림을 변경 없이 복사하는 경우에는 그렇지 않습니다. 서버가 비디오도 디코딩하고 다시 인코딩하는 경우에만 비디오 화질이 달라집니다.

스테레오 클라이언트에서 트랜스코딩이 발생하는 이유는 무엇인가요?

소스의 코덱이나 멀티채널 레이아웃이 지원되지 않아 서버가 호환되는 스테레오 트랙으로 디코딩하고 다운믹싱한 뒤 인코딩해야 할 수 있습니다.

오디오 트랜스코딩으로 버퍼링이 발생할 수 있나요?

서버가 충분한 속도로 인코딩하지 못하거나, 세그먼트 생성이 지연되거나, 타임스탬프가 어긋나거나, 남은 네트워크 및 저장 장치 경로에 병목이 있을 때 발생할 수 있습니다.

Direct Stream은 Direct Play와 같은가요?

아니요. Direct Play는 원본 파일 구조를 전송하는 반면, Direct Stream은 호환되는 스트림을 리먹싱하고 지원되지 않는 스트림만 트랜스코딩할 수 있습니다.

핵심 요약

오디오 트랜스코딩은 호환되지 않는 오디오 스트림을 대체하면서 원본 비디오 비트스트림은 그대로 유지하는 경우가 많습니다. 서버는 여전히 미디어를 디코딩하고, 믹싱하고, 리샘플링하고, 인코딩하고, 동기화하고, 다시 패키징해야 하므로 세션은 Direct Play보다 더 많은 리소스를 사용하지만 전체 비디오 트랜스코딩보다는 훨씬 적게 사용합니다. 실제 처리 과정을 파악하려면 스트림별로 재생을 진단하세요.

기술 및 AI 허브

더 읽어보기

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.