잔향이 있는 방에서 로컬 음성 비서는 왜 스스로 말을 끊을까요?

로컬 음성 비서는 반향 제거 후에도 재생음이 남아 웨이크 워드나 사람의 끼어들기 신호로 오인되면 스스로 재생을 중단할 수 있습니다.

비서의 스피커와 마이크는 같은 공간에 있으므로, 모든 음성 응답은 직접 누설음과 벽, 가구, 유리에서 지연되어 반사된 소리를 통해 다시 유입됩니다. 음향 반향 제거는 이러한 경로를 추정하고 마이크 스트림에서 재생음을 차감합니다. 긴 잔향, 기기 이동, 스피커의 비선형성, 볼륨 변화, 사람의 동시 발화로 인해 추정이 불완전해질 수 있으며, 이로 인해 중단 로직이 작동할 수 있습니다.

재생음은 시간에 따라 변하는 반향 경로를 통해 돌아옵니다

마이크는 근단 음성에 더해 비서 스피커 신호와 실내 임펄스 응답이 컨볼루션된 신호를 포착합니다. 수백 밀리초 동안 감쇠하는 반사음보다 짧은 직접 경로를 모델링하기가 더 쉽습니다. 특히 사람이나 물체가 움직일 때는 더욱 그렇습니다.

잔향이 포함된 재생 반향은 겹쳐 녹음된 음성에서 텍스트 음성 변환 재생 반향을 제거하며, 마이크에 포착된 잔향 TTS를 명시적으로 모델링합니다. 이 문제의 정식화는 비서가 깨끗한 기준 신호를 가지고도 변형된 음향 사본을 받는 이유를 보여줍니다.

적응형 필터는 재생 기준 신호에서 마이크로 이어지는 반향 경로를 지속적으로 추정합니다. 필터가 너무 짧거나, 너무 느리게 적응하거나, 응답마다 초기화되면 잔류 음성에 웨이크 워드나 끼어들기 발화와 비슷한 음성적 구조가 충분히 남을 수 있습니다.

동시 발화와 비선형 재생은 반향 제거를 제한합니다

동시 발화 중에는 사람이 말하는 동안 비서가 오디오를 재생합니다. 반향 제거기는 사람의 목소리를 반향 경로의 일부인 것처럼 학습하지 않으면서 인간의 음성을 보존해야 합니다. 과도한 억제는 사용자의 음성을 지울 수 있고, 억제가 약하면 자기 음성이 남습니다.

비선형 잔류 반향은 여러 단계에 걸쳐 적응형 필터와 딥 네트워크를 결합하여 잔류 반향과 비선형 성분을 처리합니다. 이 아키텍처는 선형 차감만으로는 모든 조건에서 스피커 왜곡, 클리핑, 실내 효과를 모델링할 수 없다는 점을 반영합니다.

볼륨에 따른 스피커 왜곡은 특히 문제가 됩니다. 재생 기준 신호는 앰프와 변환기가 비선형성을 추가하기 전에 캡처되기 때문입니다. 기기를 옮기거나, 마이크를 가리거나, 출력 라우팅을 변경하는 경우에도 이전에 수렴한 필터가 더 이상 유효하지 않게 됩니다.

웨이크 워드와 끼어들기 로직은 잔류 반향을 동작으로 전환합니다

반향 억제 후에는 음성 활동 및 웨이크 워드 모델이 사람이 말하고 있는지 판단합니다. 임계값이 낮으면 응답성이 향상되지만, 잔류 음절, 잔향의 꼬리, 편안한 잡음 아티팩트를 재생을 중단하고 음성 인식을 다시 시작해야 한다는 신호로 해석할 수 있습니다.

공동 음성 및 반향 처리는 엄격한 연산 제약에서 음향 반향 제거를 적용한 실시간 개인화 음성 향상 기술을 개발합니다. 이 연구는 전체 혼합 구간을 잡음으로 취급하기보다 동시 재생을 억제하면서 대상 음성을 보존해야 한다는 점을 강조합니다.

실패의 경계는 중단이 발생했다는 사실만으로 반향 제거 성능이 나쁘다고 가정하는 데 있습니다. 실제 사용자, 텔레비전, 알림음, 네트워크 지연으로 발생한 제어 이벤트도 재생을 중단할 수 있습니다. 잔류 반향 지표, 웨이크 신뢰도, 음성 활동, 최종 중단 결정을 동일한 시계 기준으로 기록하세요.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

재생 기준 신호를 기준으로 자기 중단을 측정하세요

조용한 공간에서 여러 볼륨으로 고정된 비서 문구를 재생한 다음, 사람의 끼어들기 발화, 텔레비전 음성, 기기 이동을 추가하세요. 재생 기준 신호, 원시 마이크 신호, 반향 제거 오디오, 웨이크 점수, 음성 활동, 중단 타임스탬프를 녹음하면서 마이크를 가까이 또는 멀리 배치해 테스트하세요.

원거리 음성의 한계를 통해 실내 변수를 비교하세요. 녹음이 얼마나 깨끗하게 들리는지만 판단하지 말고, 반향 반환 손실 향상, 시간당 오중단 횟수, 실제 끼어들기 누락 횟수, 반향 경로가 바뀐 후 복구 시간도 측정하세요.

대표적인 공간과 볼륨에서 반향 제거기가 수렴한 후에만 중단 임계값을 조정하세요. 자기 반향을 억제하는 과정에서 실제 사용자의 음성도 제거된다면, 반향 제거 또는 응답성 중 하나만 극대화하는 대신 더 긴 확인 시간이나 방향성 정보를 요구하세요.