部屋の中を移動すると、ビームフォーミングの音が違って聞こえるのはなぜですか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

Why Does Beamforming Sound Different When You Move Across a Room? - Zima Store Online

ビームフォーミングの聞こえ方が部屋の中で異なるのは、ステアリング遅延、アレイの配置、反射、方向追跡がスピーカーの位置に応じて変化するためです。

スマートスピーカーの正面では音声コマンドが豊かに聞こえても、人がその前を歩いて通り過ぎると、細くなったり位相感のある音に聞こえたりすることがあります。アレイは、到達時間が連続的に変化する複数のマイクを組み合わせています。空間フィルターは、直接音の経路を追従しながら、ノイズや遅れて到達する部屋の残響を抑える必要があります。

ステアリングは一方向を揃え、他の方向をずらすことで機能する

音は各マイクにわずかに異なる時間で到達します。ビームフォーミングでは、対象方向から来る波が重なって強まり、他の方向から来る波が部分的に打ち消し合うように、各チャンネルに遅延を加えたり重み付けしたりします。移動するとこれらの時間差が変わるため、固定されたビームでは利得が失われ、周波数によって異なるキャンセルが生じることがあります。

ビームフォーミングの基礎解説では、アレイがどのようにして選択した音の方向に対する応答性を高め、他の方向を抑制するのかが説明されています。この効果は、万能な一つの集音コーンではなく、マイク間隔、周波数、ステアリング方向によって決まります。

高周波は波長が短く、タイミングや位置の誤差の影響を受けやすくなります。その結果、角度によっては音声がこもったり、コームフィルターがかかったように聞こえたりすることがあります。低周波は指向性が弱いことが多いため、全体の音量が下がる前に音色が変化する場合があります。

移動すると音響ジオメトリに追跡遅延が加わる

適応型アレイはまず話者の位置を推定し、その後で重みを更新します。移動中は、推定が遅れたり、反射音の間で推定位置が飛んだり、別の話者を誤認したりすることがあります。ビーム間の切り替えによって、生のマイク信号が連続した音声を捉えていても、利得やノイズ低減の度合いが変わる場合があります。

移動する話者に関する研究では、変化する方向に合わせて対象を追跡するアテンション重みが示されています。移動を追跡する必要があることから、静止したステアリング設定では、歩行経路全体で同じ音にはならない理由が分かります。

壁は別の方向から遅れて到達する音のコピーを生むため、部屋は追跡を複雑にします。壁の近くでは反射音の経路が直接音と同程度の強さになることがあり、部屋の中央では音響ジオメトリが異なります。アレイは明瞭度を維持しながら、それらの経路を取り込んだり除外したりすることで、音色を変化させることがあります。

ビームフォーミングだけでは説明できない場合

位置によって音が変化する原因は、マイクの一つが遮られていること、自動利得制御、部屋のモード、スピーカーの向き、アレイ処理後に動作するノイズ抑制機能などにもあります。個々のマイクの生チャンネルが同じように変化する場合、原因はビームフォーミングより前の段階にあります。処理後の出力だけが変化する場合は、空間処理が原因である可能性が高くなります。

リアルタイムビームフォーミングに関する音声アレイ研究では、複数のビームとリアルタイム処理によって、同時に存在する音源を分離したり強調したりできることが示されています。これは同時に、計算量と更新速度の制約も示しています。適応が遅いと、速い移動に追従できないことがあります。

アレイがステアリングを使っていない場合や、聞き手が収音されたビームフォーミング信号ではなく再生音を聞いている場合、この仕組みは当てはまりません。また、部屋の同じ位置で複数のマイクすべてに固定的な音色の落ち込みが生じる場合も説明できません。その場合は、部屋の音響特性が原因である可能性があります。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

静止位置と移動位置でのステアリング動作をマッピングする

中央、4分の1地点、壁際、さらに一つの歩行経路に沿って、一定のフレーズを録音します。すべての生マイクチャンネルとビームフォーミング出力を保存してください。可能であれば、推定方向、ビームの重み、利得制御、更新時間を記録し、スピーカーの向き、距離、再生レベルを一定に保ちます。

アレイ処理を一つの共有音声処理に通し、すべての位置で同じアルゴリズムと計算負荷が適用されるようにします。移動によるアーティファクトを解釈する前に、静止位置を比較してください。

生チャンネルが使用可能なままステアリング角度に応じてビームフォーミング音の音色が変化するなら、原因はアレイ処理にあります。静止位置では安定しているのに歩行中に落ち込みが生じるなら、追跡遅延の可能性が高くなります。すべてのチャンネルに同じ位置依存の色付けが現れるなら、ビームフォーミングでは取り除けない基礎的な要因として、部屋の音響応答を考慮してください。