홈 서버는 하루에 얼마나 많은 오디오를 받아쓸 수 있을까요?

홈 서버는 측정된 실시간 계수와 사용 가능한 가동 주기에 따라 하루에 1시간 미만에서 수백 시간 분량의 오디오를 전사할 수 있습니다.

실시간 계수 0.25는 오디오 1시간을 처리하는 데 15분이 걸린다는 뜻이며, 처리 시간 1시간당 오디오 4시간을 처리할 수 있습니다. 전사를 실제 시간 기준 20시간 동안 실행할 수 있다면, 재시도와 수집 오버헤드를 제외한 이론상 일일 처리 용량은 오디오 80시간입니다. 하드웨어 이름만으로는 예정된 야간 처리 시간 동안의 수치를 안정적으로 산출할 수 없습니다.

실시간 계수는 속도를 일일 처리 용량으로 환산합니다

실시간 계수는 처리 시간을 오디오 재생 시간으로 나눈 값입니다. RTF가 1.0이면 실시간으로 처리하고, 0.5이면 실제 시간 1시간당 오디오 2시간을 처리하며, 0.1이면 10시간을 처리합니다. 일일 처리 용량은 예정된 처리 시간을 RTF로 나눈 값입니다.

공개된 Whisper 처리량 벤치마크에 따르면 모델, GPU, 오디오 길이, 배치 처리에 따라 처리량이 크게 달라질 수 있습니다. 측정 환경은 실제 홈 워크로드와 일치해야 합니다.

이 계산은 경과한 파일 수가 아니라 원본 오디오의 재생 시간을 기준으로 합니다. 무음 제거는 작업량을 줄일 수 있지만, 화자 분리, 정렬, 번역, 자막 형식 지정은 처리 단계를 추가합니다. 24시간 녹음에 실제 음성이 몇 시간밖에 없더라도 디코딩과 분할 작업은 여전히 필요할 수 있습니다.

모델과 배치가 속도와 정확도의 균형을 좌우합니다

더 작거나 증류된 모델은 일반적으로 더 빠르게 처리되고 메모리도 적게 사용하지만, 더 큰 다국어 모델은 어려운 언어에서 정확도를 높일 수 있습니다. 배치 처리는 여러 파일을 처리할 때 GPU 활용률을 높일 수 있지만, 긴급한 단일 클립은 대기 시간이 늘어납니다.

커뮤니티 런타임 측정 자료에 따르면 배치 처리와 파이프라인 활용률을 고려하지 않으면 이론적 연산 성능이 전사 속도로 선형 변환되지 않습니다.

짧은 클립은 긴 녹음보다 파일 열기, 초기화, 예약 처리에 따른 오버헤드가 비례적으로 더 큽니다. 언어 감지와 빔 서치도 실행 시간을 바꿀 수 있습니다. 단어 오류율이 높아 전사 결과를 사용할 수 없다면 하루에 더 많은 오디오를 처리하는 것이 자동으로 더 나은 것은 아닙니다.

처리 용량 공식이 적용되지 않는 경우

깨끗한 모노 음성을 기준으로 측정한 RTF는 스테레오 회의 녹음, 잡음이 많은 녹음, 여러 언어, 또는 메모리 동작이 달라지는 긴 파일에는 적용되지 않을 수 있습니다. 하루 종일 열 제한으로 인한 성능 저하와 동시에 실행되는 NAS 작업도 사용 가능한 연산 성능을 줄입니다.

실용적인 실시간 계수는 장치에 따라 큰 차이가 있음을 보여 주며, GPU 등급만으로 처리량을 추정하지 말고 실제 모델을 측정해야 한다는 점을 강조합니다.

입력 스트림이 들어오는 동안 지연 시간을 일정 수준 이하로 유지해야 하는 라이브 전사에도 이 공식은 적용되지 않습니다. 오프라인 처리량은 실시간 어시스턴트가 사용할 수 없는 배치 처리와 미래 문맥을 활용할 수 있습니다. 일일 처리 용량과 대화형 지연 시간은 서로 다른 결과입니다.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

측정한 RTF를 일일 처리 용량 범위로 환산하기

짧은 음성 메모, 긴 회의, 다양한 언어와 소음 수준, 채널 수를 대표하는 자료를 선정하세요. 최소 3시간 동안 엔드투엔드 처리 시간, 오디오 재생 시간, 라벨이 지정된 일부 데이터의 단어 오류율, 최대 메모리 사용량, 에너지를 측정하세요. 실제 운영에 화자 분리나 정렬이 필요하다면 이를 포함해야 합니다.

서버의 실제 가동 주기를 파악할 수 있도록 예정된 로컬 음성 처리 워크로드 서비스와 함께 테스트를 실행하세요. 콜드 스타트와 웜 처리량은 별도로 기록하세요.

일일 처리 용량은 사용 가능한 처리 시간을 중앙값 RTF로 나누어 계산한 다음, 계획 수립을 위해 더 느린 p95 RTF와 20%의 운영 여유를 적용하세요. 정확도가 목표에 미치지 못하면 사용할 수 없는 더 빠른 결과를 내세우지 말고, 더 강력한 모델로 전환한 뒤 다시 계산하세요.