音声アクティビティ検出はローカル文字起こしの処理量をどのように削減するのか？

音声区間検出は、まず発話区間に印を付けることでローカルの文字起こし処理を減らし、高コストな音声認識が無音や無関係な音声をスキップできるようにします。

ホームサーバーでは、マイクや録音アーカイブに何時間もの無音、部屋の環境音、発話以外の音が含まれる場合、このゲーティングが小さなデコーダー最適化より重要になることがあります。

VADは連続音声を発話の有無に変換する

VADは音声を短いフレームとして処理し、各フレームに発話が含まれているかどうかを推定します。結果は文字起こしではなく、時間マップです。

SpeechBrainは、VADを発話を含む区間の検出と定義しています。文書化された出力は、発話フレームと非発話フレームとして表現できます。SpeechBrainはVADを音声内の発話区間を特定する処理として説明しており、これはSpeechBrainのVADチュートリアルで説明されている、発話と非発話を判定する段階に一致します。

このフロントエンド分類は、特に常時接続のマイクや長時間の家庭内録音では、毎秒をフルASRモデルでデコードするよりはるかに低コストです。

しきい値が確率を開始・終了境界に変える

VADモデルは確率を出力する場合がありますが、文字起こしには連続した区間が必要です。しきい値と平滑化によってフレームスコアが実用的な開始時刻と終了時刻に変換されます。

SpeechBrainは、事後確率のスコアリング、しきい値処理、境界の作成、区間の結合、短い区間の削除について説明しています。これらの手順によって、後段のASRが実際に受け取る内容が決まります。Google Researchは、VADの判定を条件付けし、しきい値を設定することで、対象の発話が存在するタイミングを判断できることを示しており、GoogleのPersonal VAD研究で説明されている境界設定の考え方を裏付けています。

積極的なしきい値設定は計算量をより多く削減できますが、静かな子音が欠落する可能性があります。保守的なしきい値設定は文脈を維持できますが、より多くの無音やノイズを後段に渡します。

フルASR処理が必要なのは、受理された発話だけ

発話区間が分かれば、録音を切り出したりゲートしたりして、認識器がタイムライン全体ではなく選択された区間だけを処理できるようになります。

NVIDIAは、後続の音声分析に先立つ発話の有無を示すレイヤーとしてVADのタイムスタンプを使用しています。同じ仕組みで文字起こしを直接ゲートすることもできます。NVIDIA Rivaはフル音声認識の前にVADを配置し、高コストなASR処理の前に非発話区間を除外できるようにしています。これはNVIDIA Riva ASRの概要で示されている計算量削減のゲートを具体化したものです。

VADは、受理された1秒あたりのASRモデルを高速化するものではありません。

高コストなエンコーダーとデコーダーの段階に到達する秒数を減らします。

-15% OFF

ZimaBoard 2 - あなたの大きなアイデアのためのミニホームサーバー

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

パディングが発話境界の単語を守る

聞き手には発話の一部と感じられる場合でも、語頭の子音や語尾の音がしきい値を下回ることがあります。そのため実用的なVADでは、検出された区間の前後に短い文脈を残します。

SpeechBrainの推論APIは、境界の調整と区間単位の後処理について説明しています。この後処理により、VADが単なる1回の二値分類呼び出しではないことが分かります。Appleの研究では、パーソナライズされた音声区間検出における発話境界の挙動と誤差のトレードオフが論じられており、AppleのパーソナライズVAD研究で説明されているように、検出区間の前後にパディングを追加する方法を裏付けています。

パディングによって、トリミングで削減した計算量の一部は意図的に戻ります。コマンドの最初の音素を失ったり、名前の末尾を切り取ったりするより、通常はこちらの方が望ましいでしょう。

VADとウェイクワード検出は異なるゲート

ウェイクワード検出は、特定の起動フレーズが発話されたかどうかを判定します。

VADは発話が存在するかどうかを判定するため、常時稼働する音声システムでは両方を順番に使用することがあります。

ZimaSpaceのウェイクワード検出の遅延分析では起動ループを扱っています。VADは、そのゲートの後、またはその周辺で発話境界を処理します。オンデバイスVADの研究では、対象発話のゲーティングと、より広範な音声トリガーロジックが区別されており、オンデバイスのパーソナライズVAD研究で、VADとウェイクワード検出を切り分けるうえで役立ちます。

この違いはローカルの音声テキスト変換とインテント処理にも現れており、起動、音声認識、インテント処理、応答生成が別々の段階として扱われています。

誤検出と見逃しがトレードオフを決める

偽陰性は、ASRが回復できる前に実際の発話を除去してしまいます。偽陽性はノイズを通過させて計算量を浪費し、誤ったテキストとして出力される可能性があります。

SpeechBrainが文書化している、しきい値処理、結合、区間フィルタリングの流れから、これらの誤りを調整できる箇所が分かります。ノイズ環境下のVAD研究は、しきい値の変更に伴って誤検出と見逃しが反対方向に変化する理由を示しており、頑健なVAD研究で論じられている境界と一致します。

家庭内の音響環境は、この境界をさらに難しくします。ZimaSpaceの遠距離音声認識の分析では、文字起こしが始まる前に、ノイズや残響によってVADへの入力が変化する理由を説明しています。