Dlaczego formowanie wiązki dźwiękowej brzmi inaczej, gdy przemieszczasz się po pomieszczeniu?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

Why Does Beamforming Sound Different When You Move Across a Room? - Zima Store Online

Beamforming brzmi inaczej w różnych miejscach pomieszczenia, ponieważ opóźnienia sterowania, geometria matrycy, odbicia i śledzenie kierunku zmieniają się wraz z pozycją głośnika.

Komenda głosowa może brzmieć pełnie przed inteligentnym głośnikiem, ale słabo lub z efektem przesunięcia fazowego, gdy osoba przechodzi obok. Matryca łączy sygnały z kilku mikrofonów, a czasy dotarcia dźwięku do nich nieustannie się zmieniają. Filtr przestrzenny musi śledzić bezpośrednią drogę dźwięku, jednocześnie odrzucając hałas i późniejszą energię odbić pomieszczenia.

Sterowanie działa przez zestrojenie jednego kierunku i rozstrojenie pozostałych

Dźwięk dociera do każdego mikrofonu w nieco innym czasie. Beamforming opóźnia kanały lub zmienia ich wagi, tak aby fale z docelowego kierunku wzmacniały się, podczas gdy fale z innych kierunków częściowo się wygaszały. Ruch zmienia te różnice czasowe, dlatego stała wiązka traci wzmocnienie i może powodować zależne od częstotliwości wygaszanie.

Wprowadzenie do beamformingu wyjaśnia, jak matryce stają się bardziej czułe na wybrane kierunki dźwięku, jednocześnie tłumiąc pozostałe. Efekt zależy od odstępów między mikrofonami, częstotliwości i kierunku sterowania, a nie od jednego uniwersalnego stożka odbioru.

Wyższe częstotliwości mają krótsze fale i są bardziej wrażliwe na błędy synchronizacji oraz położenia. Słyszalnym skutkiem może być bardziej przytłumiony głos lub filtr grzebieniowy pod niektórymi kątami. Niskie częstotliwości często pozostają mniej kierunkowe, dlatego barwa może się zmienić, zanim spadnie ogólna głośność.

Ruch dodaje opóźnienie śledzenia do geometrii akustycznej

Matryce adaptacyjne najpierw szacują położenie mówcy, a następnie aktualizują wagi. Podczas ruchu oszacowanie może być opóźnione, przeskakiwać między odbiciami lub mylić mówcę z inną osobą. Przejście między wiązkami może zmienić wzmocnienie i redukcję szumów, nawet jeśli surowe mikrofony rejestrują ciągłą mowę.

Prace dotyczące poruszających się mówców pokazują, jak wagi uwagi podążają za celem zmieniającym kierunek. Konieczność śledzenia ruchu pokazuje, dlaczego stacjonarne rozwiązanie sterowania nie może brzmieć identycznie na całej trasie przejścia.

Pomieszczenia komplikują śledzenie, ponieważ ściany dostarczają opóźnionych kopii dźwięku z innych kierunków. W pobliżu ściany odbita droga może mieć zbliżoną siłę do drogi bezpośredniej; w centrum geometria jest inna. Matryca może zachować zrozumiałość mowy, jednocześnie zmieniając barwę, gdy naprzemiennie uwzględnia te drogi lub je odrzuca.

Gdzie beamforming nie wyjaśnia wszystkiego

Dźwięk zależny od położenia może również wynikać z zasłonięcia jednego mikrofonu, automatycznej regulacji wzmocnienia, modów pomieszczenia, orientacji głośnika lub reduktora szumów działającego za matrycą. Jeśli surowe kanały poszczególnych mikrofonów zmieniają się podobnie, przyczyna występuje przed beamformingiem. Jeśli zmienia się tylko przetworzony sygnał wyjściowy, bardziej prawdopodobne jest przetwarzanie przestrzenne.

Badania nad matrycami audio dotyczące beamformingu w czasie rzeczywistym pokazują, że wiele wiązek i przetwarzanie w czasie rzeczywistym mogą rozdzielać jednoczesne źródła lub wzmacniać wybrane z nich. Wynika z tego również ograniczenie obliczeniowe i związane z częstotliwością aktualizacji: powolna adaptacja może nie nadążać za szybkim ruchem.

Mechanizm ten nie ma zastosowania, gdy matryca nie wykorzystuje sterowania ani gdy słuchacz słyszy odtwarzany dźwięk, a nie przechwycony sygnał po beamformingu. Nie wyjaśnia też stałego osłabienia określonej barwy występującego w jednym miejscu pomieszczenia na wszystkich mikrofonach, co wskazuje raczej na akustykę pomieszczenia.

Featured

ZimaCube 2 Osobisty domowy NAS w chmurze

ZimaCube2

Mapowanie działania sterowania w pozycjach statycznych i podczas ruchu

Nagraj stałą frazę w centrum, w punktach oddalonych o jedną czwartą drogi od centrum do ścian, przy ścianach oraz wzdłuż jednej trasy przejścia. Zachowaj każdy surowy kanał mikrofonu oraz sygnał po beamformingu. Rejestruj oszacowany kierunek, wagi wiązek, jeśli są dostępne, regulację wzmocnienia i czas aktualizacji; utrzymuj stałą orientację głośnika, odległość i poziom odtwarzania.

Przepuść przetwarzanie matrycy przez jedno współdzielone przetwarzanie głosu, aby ten sam algorytm i to samo obciążenie obliczeniowe obowiązywały w każdej pozycji. Najpierw porównaj punkty statyczne, zanim zinterpretujesz artefakty ruchu.

Jeśli surowe kanały pozostają użyteczne, ale barwa sygnału po beamformingu zmienia się wraz z kątem sterowania, przyczyną jest przetwarzanie matrycy. Jeśli punkty statyczne są stabilne, lecz podczas przejścia pojawiają się osłabienia, silniejszym kandydatem jest opóźnienie śledzenia. Jeśli wszystkie kanały wykazują takie samo zabarwienie zależne od miejsca, uznaj charakterystykę pomieszczenia za ograniczenie, którego beamforming nie może usunąć.