음성 활동 감지는 로컬 음성 인식 작업을 어떻게 줄이나요?

음성 활동 감지(VAD)는 먼저 음성 구간을 표시하여 로컬 전사 작업을 줄입니다. 따라서 고비용 음성 인식은 무음과 관련 없는 오디오를 건너뛸 수 있습니다.

홈 서버에서는 마이크나 보관 녹음에 몇 시간 동안의 멈춤, 실내 잔향음 또는 비음성 소리가 포함될 수 있으므로, 이러한 게이팅이 작은 디코더 최적화보다 더 중요할 수 있습니다.

VAD는 연속 오디오를 음성 판단으로 변환합니다

VAD는 오디오를 짧은 프레임으로 처리하고 각 프레임에 음성이 포함되어 있는지 추정합니다. 그 결과는 전사문이 아니라 시간 지도입니다.

SpeechBrain은 VAD를 음성이 포함된 구간을 감지하는 기능으로 정의합니다. 문서에 설명된 출력은 음성 프레임과 비음성 프레임으로 표현할 수 있습니다. SpeechBrain은 VAD를 오디오에서 음성이 활성화된 영역을 찾는 과정으로 설명하며, 이는 SpeechBrain VAD 튜토리얼에서 설명하는 음성 대 비음성 판단 단계와 일치합니다.

이 프런트엔드 분류는 모든 초를 전체 ASR 모델로 디코딩하는 것보다 훨씬 저렴하며, 특히 항상 켜져 있는 마이크와 긴 가정용 녹음에서 효과적입니다.

임계값은 확률을 시작 및 종료 경계로 변환합니다

VAD 모델은 확률을 출력할 수 있지만, 전사에는 연속된 구간이 필요합니다. 임계값과 평활화는 프레임 점수를 실제로 사용할 수 있는 시작 및 종료 시각으로 변환합니다.

SpeechBrain은 사후확률 점수 계산, 임계값 설정, 경계 생성, 병합 및 짧은 구간 제거를 문서화하고 있습니다. 이러한 단계가 이후 ASR에 실제로 전달되는 내용을 결정합니다. Google Research는 VAD 판단을 조건화하고 임계값을 적용하여 대상 음성이 존재하는 시점을 결정할 수 있음을 보여주며, 이는 Google 개인화 VAD 연구에서 설명하는 경계 설정 논리를 뒷받침합니다.

공격적인 임계값은 더 많은 연산을 절약하지만 작은 자음 소리를 잘라낼 수 있습니다. 보수적인 임계값은 더 많은 문맥을 보존하지만 더 많은 무음과 잡음을 다음 단계로 전달합니다.

완전한 ASR 처리는 승인된 음성에만 필요합니다

음성 구간을 파악하면 파이프라인은 녹음을 잘라내거나 게이팅하여 인식기가 전체 타임라인 대신 선택된 영역만 처리하도록 할 수 있습니다.

NVIDIA는 이후 오디오 분석에 앞서 VAD 타임스탬프를 음성 존재 여부를 나타내는 계층으로 사용합니다. 동일한 메커니즘을 전사에 직접 적용할 수도 있습니다. NVIDIA Riva는 전체 음성 인식 전에 VAD를 배치하여 고비용 ASR 작업에 앞서 비음성 구간을 필터링할 수 있도록 하며, 이는 NVIDIA Riva ASR 개요에 설명된 연산 게이트의 사례입니다.

VAD가 허용된 각 초당 ASR 모델 자체를 더 빠르게 만드는 것은 아닙니다.

고비용 인코더와 디코더 단계에 도달하는 초의 수를 줄이는 것입니다.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

패딩은 음성 경계에서 단어를 보호합니다

첫 자음과 끝소리는 임계값 아래로 떨어질 수 있지만, 듣는 사람은 이를 발화의 일부로 인식합니다. 따라서 실제 VAD는 감지된 영역 주변에 짧은 문맥을 보존합니다.

SpeechBrain의 추론 API는 경계 보정과 구간 단위 후처리를 설명합니다. 이러한 후처리는 VAD가 단순한 이진 분류기 호출 하나 이상임을 보여줍니다. 음성 활동 개인화 감지에 관한 Apple 연구는 음성 경계의 동작과 오류 간 절충을 다루며, Apple 개인화 VAD 연구에서 설명하는 것처럼 감지된 영역 주변에 패딩을 사용하는 방식을 뒷받침합니다.

패딩은 트리밍으로 절약한 연산량 중 일부를 의도적으로 다시 사용합니다. 명령어의 첫 음소를 놓치거나 이름의 끝을 잘라내는 것보다 일반적으로 더 나은 선택입니다.

VAD와 웨이크 워드 감지는 서로 다른 게이트입니다

웨이크 워드 감지기는 특정 활성화 문구가 발화되었는지 판단합니다.

VAD는 음성이 존재하는지 여부를 판단하므로, 항상 켜져 있는 음성 시스템은 두 기능을 순차적으로 사용할 수 있습니다.

ZimaSpace의 웨이크 워드 감지 지연 시간 분석은 활성화 루프를 다룹니다. VAD는 해당 게이트 이후 또는 그 주변에서 음성 경계를 처리합니다. 온디바이스 VAD 연구는 대상 음성 게이팅과 더 광범위한 음성 트리거 로직을 구분하며, 온디바이스 개인화 VAD 연구에서 VAD와 웨이크 워드 감지를 구분하는 데 도움을 줍니다.

이러한 구분은 로컬 음성-텍스트 변환 및 의도 처리에도 나타납니다. 여기서는 활성화, 음성 인식, 의도 처리 및 응답 생성이 서로 다른 단계로 분리되어 있습니다.

누락된 음성과 잘못 감지된 음성이 절충을 결정합니다

거짓 음성 누락은 실제 음성이 ASR에 도달하기 전에 제거되어 ASR이 복구할 수 없게 만듭니다. 거짓 양성은 잡음을 전달하여 연산을 낭비하고 잘못된 텍스트로 변환될 수 있습니다.

SpeechBrain에 문서화된 임계값 설정, 병합 및 구간 필터링 순서는 이러한 오류를 조정할 수 있는 지점을 보여줍니다. 잡음 환경에서의 VAD 연구는 임계값이 바뀔 때 잘못 감지된 음성과 누락된 음성이 서로 반대 방향으로 움직이는 이유를 보여주며, 이는 강건한 VAD 연구에서 다루는 경계와 일치합니다.

가정 내 음향 환경은 이 경계를 더 어렵게 만듭니다. ZimaSpace의 원거리 음성 인식 분석은 전사가 시작되기 전에 잡음과 잔향이 VAD 입력을 바꿀 수 있는 이유를 설명합니다.