ホーム音声の部分的な認識結果：ストリーミング文字起こしがより応答性に優れている理由

ストリーミング文字起こしが速く感じられるのは、話者が話し終える前に部分的な結果から利用可能な単語が提示され、発話の残りの部分と認識処理が重なるためです。

ローカル音声アシスタントは、無音を待ってコマンド全体を文字起こしし、それから画面を更新する必要はありません。短い音声ウィンドウを到着次第処理し、暫定テキストをすぐに表示できます。メリットは、目に見える進行状況と意図の準備を早い段階で示せることにあります。ただし、ライブ入力の末尾付近にある不安定な単語は、より多くの音響コンテキストが得られるにつれて変わる可能性があります。

ストリーミング認識はエンドポイントの前に処理を進める

バッチ文字起こしでは、録音が完了するまで待機します。ストリーミング認識では、新しいフレームを繰り返しエンコードし、状態を引き継ぎながら、発話が続いている間にトークン候補を出力します。そのため、最初のテキストが表示されるまでの時間は、最終的な文字起こしが完了するまでの時間より大幅に短くできます。

ローカル合意ポリシーのシステムは、ローカル合意ポリシーを使って非ストリーミング型のWhisperスタイルモデルを適応させ、遅延を自動調整しながら実用的なライブ文字起こしを実現しています。繰り返しデコードを行い、隣接するウィンドウが一致した時点でのみプレフィックスを確定します。この違いは、後述する家庭環境でのテストでも確認できます。

ユーザーは、何も表示されない一時停止ではなく、継続的な進行を体験できます。また、後段のコンポーネントはデバイスやアクションを暫定的に特定できます。ただし、最新のサフィックスは将来のコンテキストが最も少ないため、実行はエンドポイント、または十分に安定したコマンドが得られるまで待つべきです。

部分的な安定性は遅延と修正のトレードオフを生む

新しいトークンをすべて出力すると表示遅延は最小になりますが、ちらつきや単語の置き換えが発生します。繰り返しの一致を待つと修正は減りますが、テキストの表示が遅れます。安定性ポリシーは、プレフィックスを確定する前に、右側の音声コンテキスト、オーバーラップ、または繰り返し一致のどれだけを必要とするかを決定します。

最小遅延学習に関する研究では、ストリーミング系列トランスデューサーの遅延と精度のトレードオフを明示的に最適化しています。結果から、出力遅延の短縮は測定可能である一方、モデルを有効なコンテキストの範囲を超えて動作させると認識品質が低下する可能性が示されています。

インターフェースでは、暫定テキストと確定テキストを区別する必要があります。灰色で表示するライブサフィックスは変化してもよく、安定したプレフィックスは検索や意図解析に利用できます。両方を最終結果として扱うと、修正がエラーのように見え、認識結果から後で削除される単語によってアクションが実行される可能性があります。

早期のテキストは速くても意味的に安全とは限らない

名前、数字、否定、文末の修飾語は、遅れて現れたり、それまでの解釈を変えたりすることがよくあります。「ロックを解除しないで」は肯定的なコマンドのように始まることがあり、部分的なデバイス名が複数の部屋に一致する場合もあります。テキストが速く表示されることと、意図が確定していることは同じではありません。

注意機構による停止制御に関する研究では、注意機構ベースの停止制御とローカル合意を比較し、ストリーミングデコードに十分な音響的証拠が揃うタイミングの制御に焦点を当てています。コミット方針が計算量と遅延の両方に影響することを示しています。自動化を進める前に、中間結果を確認できる状態にしておく必要があります。

失敗が起こりうる境界は、暫定的な文字列から不可逆的、コストの高い、または安全性に関わるアクションを導き出す時点です。部分結果は表示や先読み処理に利用できますが、実行はエンドポイント検出、安定した意図、エンティティ解決、必要なポリシー承認が完了した後に限るべきです。

-15% OFF

ZimaBoard 2 - あなたの大きなアイデアのためのミニホームサーバー

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

最初のテキスト、安定したテキスト、アクション実行時間を測定する

代表的なコマンドを20件記録し、発話開始、最初の部分トークン、最初に正しく認識された意図、最終的に安定した文字起こし、アクション完了の各時点を記録します。平均単語誤り率では運用上の影響が見えにくいため、名前、数字、否定、最後の2語については修正回数を個別に数えます。

部分文字起こしの遅延で説明されている音声遅延経路全体と、各段階を比較します。モデルとハードウェアを一定に保ちながら、静かな環境、テレビ音声のある環境、スピーカーフォン環境で繰り返し、表示の応答性と安全な実行遅延を分けて評価します。

最初に有用なテキストが表示されるまでの時間が改善し、ちらつきも過度でない場合は、部分表示を採用します。投機的な先読みは、キャンセルのコストが低い場合にのみ許可し、早期の意図が明らかに見える場合でも、重要なアクションは安定した文字起こしとポリシーゲートの背後に置きます。