Dlaczego wyniki transkrypcji wydają się mniej dokładne w przypadku dźwięku z głośnika telefonu?

Transkrypcja z użyciem zestawu głośnomówiącego często ulega pogorszeniu, ponieważ odtwarzanie przez głośnik, odbicia w pomieszczeniu, redukcja echa i odległość zmieniają cechy mowy docierającej do systemu ASR.

Nagranie spotkania odtworzone przez głośnik telefonu może być zrozumiałe dla człowieka, a mimo to powodować więcej substytucji na serwerze domowym. System rozpoznawania otrzymuje sygnał akustyczny drugiej generacji: skompresowana mowa jest odtwarzana przez mały przetwornik, mieszana z odpowiedzią pomieszczenia, a następnie ponownie rejestrowana przez inny mikrofon.

Dźwięk z zestawu głośnomówiącego to mowa przepuszczona przez drugi kanał

Bezpośrednia mowa dociera od ust do mikrofonu tylko raz. Mowa z zestawu głośnomówiącego została już zakodowana, zdekodowana, odtworzona, odbita od pomieszczenia i ponownie zarejestrowana. Każdy etap zmienia równowagę widmową i czasową. Małe głośniki mogą osłabiać niskie częstotliwości, a kodeki telefoniczne usuwają szczegóły uznawane za mniej istotne w rozmowie.

Badanie mowy emitowanej przez głośnik analizuje reakcję systemów ASR, gdy mowa jest odtwarzana przez głośniki zamiast wypowiadana naturalnie. To rozróżnienie ma znaczenie, ponieważ łańcuch akustyczny i urządzeniowy nie odpowiada już typowym próbkom treningowym.

Skutkiem nie jest po prostu niższa głośność. Wybuchowe spółgłoski mogą zostać złagodzone, samogłoski mogą wybrzmiewać, a artefakty kodeka mogą się powtarzać. Ludzie odtwarzają słowa na podstawie kontekstu, lecz system rozpoznawania musi przypisać zmienione cechy krótkookresowe do tokenów, przez co szczególnie podatne na błędy stają się nazwy i podobnie brzmiące polecenia.

Pogłos i echo zacierają granice między słowami

Odbicia docierają kilka milisekund po dźwięku bezpośrednim i nakładają się na kolejne fonemy. Zestaw głośnomówiący wytwarza również echo akustyczne, gdy jego własny sygnał wyjściowy wraca do mikrofonu. Redukcja echa szacuje tę ścieżkę i ją odejmuje, lecz ruch, nieliniowość głośników oraz jednoczesna mowa mogą pozostawiać resztkowe echo albo usuwać fragmenty głosu docelowego.

Poradnik dotyczący rozpoznawania z dużej odległości wyjaśnia, dlaczego przed rozpoznawaniem mowy z dużej odległości potrzebne są derewerberacja, separacja źródeł i formowanie wiązki. Odtwarzanie przez zestaw głośnomówiący łączy ten problem z dodatkowym kanałem reprodukcji.

Błędy często skupiają się wokół szybkiej mowy, nakładających się głosów i pomieszczeń z twardymi powierzchniami. Zwiększenie głośności może poprawić poziom sygnału, jednocześnie nasilając energię pogłosu lub powodując clipping. Większa głośność nie oznacza automatycznie czystszego sygnału dla ASR.

Kiedy zestaw głośnomówiący nie jest główną przyczyną

Wyjaśnienie oparte na zestawie głośnomówiącym jest niewystarczające, jeśli oryginalny plik już zawiera błędy, wybrano niewłaściwy model językowy albo różnica w transkrypcji przed i po odtworzeniu wynika wyłącznie ze zmiany częstotliwości próbkowania lub liczby kanałów. Oddzielny moduł redukcji szumu może również bardziej zniekształcać ponownie zarejestrowany dźwięk niż samo pomieszczenie.

Badania nad ASR uwzględniającym scenę wykorzystują zmierzony pogłos pomieszczenia do wyboru realistycznych warunków treningowych i wykazują lepszą skuteczność pod względem liczby błędów słów niż w przypadku losowo wybieranych odpowiedzi pomieszczenia. Pokazuje to, że dopasowanie domeny modelu może ograniczyć różnice akustyczne, ale nie może ich całkowicie wyeliminować.

Ten mechanizm nie sprawdza się również wtedy, gdy bezpośredni mikrofon ustawiony w tej samej odległości działa równie słabo, co wskazuje na ogólny problem z rejestracją z dużej odległości. Jeśli transkrypcja z bezstratnej pętli zwrotnej jest już błędna, głośnik i pomieszczenie są elementami dalszymi względem rzeczywistego problemu. Porównaj poszczególne etapy, zanim zmienisz sprzęt.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Oddziel plik cyfrowy od ścieżki głośnik–pomieszczenie

Wykonaj transkrypcję czterech wersji tych samych wypowiedzi: oryginalnego pliku, cyfrowej pętli zwrotnej, odtwarzania przez głośnik z rejestracją z bliska oraz odtwarzania przez głośnik z rejestracją w rzeczywistym miejscu odsłuchu. Zachowaj stałe model ASR, język, częstotliwość próbkowania i ustawienia dekodowania; osobno zmierz liczbę błędów słów dla nazw, liczb i poleceń.

Korzystaj z jednego lokalnego przepływu pracy z mową, aby dźwięk nie opuszczał domu, a powiązane pliki i transkrypcje pozostały możliwe do prześledzenia. Przy każdym wyniku zapisuj informacje o odpowiedzi impulsowej oraz głośności głośnika.

Jeśli cyfrowa pętla zwrotna jest dokładna, ale ponowna rejestracja w pomieszczeniu kończy się niepowodzeniem, przyczyną jest ścieżka głośnik–pomieszczenie–mikrofon. Jeśli wyniki rejestracji z bliska i z daleka się różnią, dominują odległość i pogłos. Jeśli każda wersja zawodzi w ten sam sposób, dostosuj słownictwo lub domenę modelu zamiast obwiniać akustykę zestawu głośnomówiącego.