残響のある部屋でローカル音声アシスタントが自分の発話に割り込まれるのはなぜですか？

ローカル音声アシスタントは、エコーキャンセレーションをすり抜けた再生音がウェイクワードや人間による割り込み入力の信号と誤認されると、自らの応答を途中で中断することがあります。

アシスタントのスピーカーとマイクは同じ部屋にあるため、発話された応答は直接的な漏れ音や、壁・家具・ガラスからの遅延反射を通じてマイクに戻ってきます。音響エコーキャンセレーションはその経路を推定し、マイク信号から再生音を差し引きます。しかし、長い残響、デバイスの移動、スピーカーの非線形性、音量の変化、人間の発話との同時発生によって推定は不完全になり、割り込み処理が作動することがあります。

再生音は時間変化するエコー経路を通って戻る

マイクは、近端話者の音声に加えて、部屋のインパルス応答を通過したアシスタントのスピーカー信号を捉えます。短い直接経路はモデル化しやすい一方、人や物が動く環境では、数百ミリ秒にわたって減衰する多数の反射音を扱うのは容易ではありません。

残響を伴う再生エコーは、重なり合った録音から音声合成の再生エコーを除去し、マイクで捉えられた残響を伴うTTSを明示的にモデル化します。この問題設定は、アシスタントがクリーンな参照信号を持っていても、変化した音響コピーを受け取る理由を示しています。

適応フィルターは、再生の参照信号からマイクまでのエコー経路を継続的に推定します。フィルターが短すぎる、適応が遅すぎる、または応答ごとにリセットされる場合、残留音声にウェイクワードや割り込み発話に似た十分な音韻構造が残ることがあります。

ダブルトークと非線形再生がキャンセルを制限する

ダブルトーク中は、アシスタントが音声を再生している間に人が話します。エコーキャンセラーは、人間の声をエコー経路の一部とみなして適応しないようにしながら、その声を保持しなければなりません。抑制が強すぎるとユーザーの声が消え、弱すぎると自己音声が残ります。

非線形残留エコーは、複数の段階にわたって適応フィルターとディープネットワークを組み合わせ、残留エコーと非線形成分に対処します。このアーキテクチャは、線形減算だけでは、あらゆる条件下でスピーカーの歪み、クリッピング、部屋の影響をモデル化できないことを反映しています。

再生音量に依存するスピーカーの歪みは特に厄介です。再生の参照信号は、アンプやトランスデューサーが非線形性を加える前に取得されるためです。デバイスを移動したり、マイクを覆ったり、出力経路を変更したりすると、以前に収束したフィルターも無効になります。

ウェイクワードと割り込み処理が残留エコーを動作に変換する

エコー抑制の後、音声活動モデルとウェイクワードモデルが人の発話かどうかを判断します。しきい値を低くすると応答性は向上しますが、残留音節、残響の尾、またはコンフォートノイズのアーティファクトを、再生を停止して認識を再開すべき証拠と誤解する可能性があります。

音声とエコーの統合処理は、厳しい計算量の制約下で、音響エコーキャンセレーションを備えたリアルタイムの個人化音声強調を実現します。この研究は、混在した区間全体をノイズとして扱うのではなく、同時に再生される音声を抑制しながら対象音声を保持する必要性を示しています。

問題の境界は、割り込みが発生したことをエコーキャンセレーションの不良だと決めつけることです。実際のユーザー、テレビ、通知音、またはネットワーク遅延による制御イベントでも再生は停止します。残留エコーの指標、ウェイク信頼度、音声活動、最終的な割り込み判断を同じクロックで記録してください。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

再生参照信号を基準に自己中断を測定する

静かな部屋で、アシスタントの定型フレーズを複数の音量で再生し、その後、人による割り込み、テレビ音声、デバイスの移動を加えます。近距離と遠距離のマイク位置でテストしながら、再生参照信号、生のマイク信号、エコーキャンセル後の音声、ウェイクスコア、音声活動、割り込みのタイムスタンプを記録します。

部屋の変数を遠距離音場での音声の限界と比較します。録音がどれだけクリアに聞こえるかだけで判断せず、エコーリターンロス強調量、1時間あたりの誤割り込み回数、実際の割り込みの見逃し、エコー経路が変化した後の復旧時間を測定してください。

代表的な部屋と音量の条件でキャンセラーが収束した後にのみ、割り込みしきい値を調整します。自己エコーの抑制によって実際のユーザーの声まで消える場合は、キャンセレーションや応答性の一方だけを最大化するのではなく、より長い確認ウィンドウや指向性の証拠を要求してください。