노이즈 억제를 사용하면 로컬 음성 명령이 왜 인위적으로 들리나요?

에바 왕

IceWhale author

에바 왕 는 기술 작가 그리고 이자 ZimaSpace의 상주 장인입니다. 평생을 기술에 열정을 가진 사람으로서 홈랩과 오픈소스 소프트웨어에 열정을 가지고 있으며,복잡한 기술 개념을 쉽게 이해할 수 있는 실습 가이드로 번역하는 데 전문성을 가지고 있습니다.에바는 셀프 호스팅이 어렵지 않고 재미있어야 한다고 믿습니다. 그녀의 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 신비를 풀도록돕고 있습니다. 첫 NAS 구축부터 Docker 컨테이너 마스터링까지.

Why Does Noise Suppression Make Local Voice Commands Sound Artificial? - Zima Store Online

노이즈가 억제된 음성이 인공적으로 들리는 이유는 강한 마스크가 음성의 세부 정보를 제거하고, 배경 소음을 줄이는 과정에서 불안정한 잔여음을 남기기 때문입니다.

로컬 어시스턴트가 “주방 불 켜 줘”를 정확히 받아쓸 수는 있지만, 모니터링 재생음은 물소리처럼 울리거나 금속성으로 들릴 수 있습니다. 억제기는 완벽한 음성 복원이 아니라 신호 분리를 최적화합니다. 음성과 생활 소음은 시간과 주파수 영역에서 겹치므로, 불확실한 구간에서는 잔여 소음과 손상된 음성 사이에서 절충해야 합니다.

억제기는 원본을 복원하기보다 마스크를 추정합니다

많은 시스템은 오디오를 짧은 시간-주파수 구간으로 나누고, 각 구간이 음성에 얼마나 해당하는지 추정합니다. 강한 감쇠는 팬이나 가전제품의 에너지를 제거하지만, 마찰음, 숨소리, 배음까지 잘라낼 수 있습니다. 버려진 깨끗한 신호는 정확하게 복원할 수 없습니다.

인공 잔여 소음에 관한 연구에 따르면, 특히 학습 대상에서 위상 정보가 제외된 경우 심층 음성 향상 과정에서 인공 잔여 소음이 발생할 수 있습니다. 이렇게 빠르게 변하는 잔여음이 익숙한 음악적 또는 물소리 같은 질감을 만듭니다.

소음이 음성과 비슷하거나 빠르게 변할 때 이러한 아티팩트가 가장 강하게 나타납니다. 일정한 팬 소음은 그릇이 부딪히는 소리보다 추정하기 쉽습니다. 억제를 강화하면 신호 대 잡음비는 개선될 수 있지만 인지되는 자연스러움은 떨어질 수 있으므로, 하나의 수치만으로 모든 음성 명령의 목표를 나타낼 수는 없습니다.

위상과 시간적 평활화는 음성이 이어지는 방식을 바꿉니다

음성 명료도는 개별 주파수뿐 아니라 전환에도 좌우됩니다. 프레임마다 급격히 변하는 마스크는 연속성을 끊을 수 있고, 과도한 평활화는 자음을 뭉개 버릴 수 있습니다. 위상 복원과 지연 시간 제약은 실시간 로컬 모델이 각 짧은 구간을 얼마나 자연스럽게 재구성할 수 있는지도 제한합니다.

한 복원 연구에서는 강한 억제가 대상 음성을 손상시킬 수 있다고 보고하며, 노이즈 제거 후 두 번째 복원 단계를 추가할 것을 제안합니다. 이러한 절충은 성공적인 노이즈 제거와 자연스러운 음성 품질이 서로 다른 목표임을 보여 줍니다.

ASR은 견고하게 학습된 특징을 사용하기 때문에 일부 아티팩트를 허용할 수 있지만, 사람은 음색 변화를 즉시 알아챕니다. 반대의 경우도 가능합니다. 평활화 후 오디오는 듣기 좋아졌지만 짧은 명령어 하나를 놓칠 수 있습니다. 인식 성능과 청취 품질을 따로 평가하세요.

억제가 주된 원인이 아닌 경우

인공적인 소리는 억제기 이전의 낮은 비트레이트 코덱, 자동 게인 조절, 클리핑, 에코 제거 또는 샘플레이트 변환에서 발생할 수 있습니다. 성능이 낮은 마이크는 이미 고주파 세부 정보를 잃었을 수도 있습니다. 최종 오디오만 비교하면 모든 상위 단계의 결함이 음성 향상 문제처럼 보입니다.

비교 평가에서는 여러 음성 향상 모델에서 억제와 품질, 지각 품질, 화자 특징 보존 사이의 균형을 강조합니다. 모든 소음 조건에서 모든 축의 성능을 동시에 이기는 모델은 없습니다.

억제를 우회한 오디오도 똑같이 금속성으로 들리거나 네트워크 전송 후에만 아티팩트가 발생한다면, 억제라는 설명은 성립하지 않습니다. 의심되는 단계에서 로컬 모델이 오디오가 아니라 텍스트를 처리하는 경우에도 마찬가지입니다. 변화가 처음 나타나는 웨이브폼을 확인하세요.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

억제 설정을 조정하기 전에 모든 오디오 단계를 비교하세요

조용한 환경, 팬 소음, TV 소리, 주방 소음에서 동일한 명령을 녹음하고, 원시 마이크 입력, 게인 조정 후, 에코 제거 후, 억제 후, ASR 입력을 각각 저장하세요. 듣기 전에 파일의 음량을 맞추고, 여러 억제 강도에서 명령 정확도, 클리핑, 처리 지연 시간, 아티팩트의 심각도를 측정하세요.

로컬 이벤트 파이프라인 문서를 참고해 단계별 이벤트 타임스탬프를 맞추세요. 중간 결과가 누락되거나 덮어써지면 손상이 어디서 시작되는지 파악하기 어려울 수 있습니다. 원시 오디오는 비공개로 로컬에 보관하세요.

중요한 자음을 지우지 않으면서 명령을 안정화하는 가장 약한 억제 수준을 선택하세요. 억제 전에 아티팩트가 나타난다면 먼저 캡처 또는 게인을 수정하세요. 오디오가 인공적으로 들리지만 ASR 성능이 향상된다면 모니터링 품질이 중요한지 결정해야 합니다. 음성 명령 최적화는 자연스러운 녹음 음성을 만드는 작업과 같지 않습니다.