無音の音声中にローカル文字起こしで単語が挿入されるのはなぜ？

ローカル文字起こしでは、デコーダーが弱い音響情報を学習済みの言語パターンや引き継がれたコンテキストで解決する必要があるため、無音中に単語が挿入されることがあります。

一見無音に見える家庭での録音にも、マイクの自己ノイズ、ファン、部屋のハム音、圧縮アーティファクト、残響の余韻が含まれています。パイプラインがその区間を自己回帰型認識器に送ると、モデルが受け取るのは「何も出力しない」という明示的な指示ではなく、特徴量です。直前のテキスト、言語選択、デコードしきい値、チャンク境界によって、不確かな音がもっともらしいフレーズに変わることがあります。

発話がなくても無音は特徴量を生み出す

デジタル上の無音はゼロかもしれませんが、実際に収録された無音には低レベルのエネルギーと構造化されたノイズが含まれています。特徴抽出によって、そのスペクトルはフレームに変換されます。特に自動ゲイン制御がノイズフロアを引き上げたり、コーデックが周期的なアーティファクトを生じさせたりすると、弱い音素パターンに似ることがあります。

非音声による幻覚を調査した研究では、Whisperを非音声に意図的にさらし、繰り返し現れる幻覚フレーズを確認しています。この反復は、曖昧な音響情報が無作為な文字を生み出すのではなく、学習済みの出力パターンと相互作用していることを示します。この違いは、後の家庭環境でのテストでも確認できます。

音声活動検出器は、明らかに非音声の区間をデコード前に遮断できますが、テレビの音声、音楽、呼吸音、家電製品によって誤検出が増えることがあります。無音検出と文字起こしは、異なるしきい値と障害モードを持つ別々の分類器です。

自己回帰型デコードは言語事前分布で音響的不確実性を埋める

音声デコーダーは、音響的な証拠と学習済みの系列尤度の両方からテキストを評価します。音響項が弱い場合、一般的なフレーズ、句読点、字幕の慣例、または以前のプロンプトとして与えられたテキストが、次のトークンの決定を支配することがあります。

弱教師ありASRを扱った研究では、さまざまなデータとタスクにまたがる大規模な弱教師あり音声認識について説明しています。この広がりは強力な言語上の規則性をもたらしますが、同時に、ローカルな区間から得られる音声の証拠がほとんどない場合でも、デコードがもっともらしいテキストを続けられることを意味します。

長いウィンドウには、いくつかの実際の単語に続いて無音が含まれることがあり、モデルがそのパターンを拡張できます。短いウィンドウでは、ノイズを退けるために必要なコンテキストが失われることがあります。そのため、チャンクのオーバーラップ、プロンプトの引き継ぎ、温度フォールバック、無音しきい値が、どのような障害が現れるかに影響します。

後処理で頻度は隠せても、真実を確立することはできない

ブラックリストを使えば、無音中に繰り返されるフレーズを削除でき、信頼度フィルターを使えば、確率の低い区間を抑制できます。こうした安全策は目に見えるエラーを減らしますが、同じ単語を含む本物の小さな声の発話まで削除する可能性があります。自動処理を続ける前に、中間結果を検査できる状態にしておく必要があります。

根拠のない文字起こしフレーズを扱った研究では、完全に作り出されたフレーズが報告されており、音声による裏付けがなくても流暢な出力は信頼できそうに見えることが強調されています。実務上の教訓は、文法的な自然さを信頼するのではなく、検証のためにタイミングと音響的証拠を保持することです。

注意すべきなのは、静かな波形上に現れたすべての単語を幻覚と呼んでしまうことです。遠くの発話、ヘッドホンからの漏れ、帯域内に折り返された超音波干渉、強力なノイズ抑制によって、発話が聞き取りにくくなっていても、実際には存在している可能性があります。モデルを評価する前に、生の音声と同期したレベルを確認してください。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

しきい値を変更する前に無音チャレンジセットを作成する

本当のデジタル無音、部屋の環境音、ファン、空調、キーボード音、テレビ音の漏れ、音楽、呼吸音、静かな実際の発話を、複数のゲインで録音します。生の音声を保持したうえで、音声ゲーティング、プロンプトの引き継ぎ、温度フォールバックの有無を変え、同一のチャンクを実行します。

音声活動ゲーティングで説明されているゲーティング機構を使い、静かな1分あたりの誤挿入語数と、聞き逃した小さな声の発話を併せて測定します。すべての失敗について、無音確率、VADの判定、平均エネルギー、デコーダー信頼度、言語選択、チャンク境界、出力されたトークンを保存します。

静かな発話の損失を許容できない範囲に増やすことなく、無音中の挿入を減らせる位置にしきい値を設定します。重要なメモについては、タイムスタンプと音声レビューを保持してください。繰り返し現れるフレーズが複数の制御を通過して残る場合は、発話があった証拠ではなく、デコーダーのアーティファクトとして扱います。