Jak wykrywanie aktywności głosowej ogranicza lokalne obciążenie związane z transkrypcją?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

How Does Voice Activity Detection Reduce Local Transcription Work? - Zima Store Online

Wykrywanie aktywności głosowej ogranicza lokalne przetwarzanie transkrypcji, najpierw oznaczając przedziały mowy, dzięki czemu wymagające rozpoznawanie mowy może pomijać ciszę i nieistotny dźwięk.

Na domowym serwerze takie filtrowanie może mieć większe znaczenie niż niewielka optymalizacja dekodera, gdy mikrofony lub archiwa zawierają godziny przerw, odgłosów tła pomieszczenia albo dźwięków niezwiązanych z mową.

VAD przekształca ciągły dźwięk w decyzje dotyczące mowy

VAD przetwarza dźwięk w krótkich ramkach i ocenia, czy każda z nich zawiera mowę. Wynikiem jest mapa czasowa, a nie transkrypcja.

SpeechBrain definiuje VAD jako wykrywanie segmentów zawierających mowę. Udokumentowany wynik można przedstawić jako ramki mowy i niemowy. SpeechBrain opisuje VAD jako lokalizowanie aktywnych obszarów mowy w nagraniu, co odpowiada etapowi decyzji mowa–niemowa opisanemu w samouczku SpeechBrain dotyczącym VAD.

Ta klasyfikacja na wejściu jest znacznie tańsza niż dekodowanie każdej sekundy za pomocą pełnego modelu ASR, szczególnie w przypadku zawsze włączonych mikrofonów i długich nagrań domowych.

Progi przekształcają prawdopodobieństwa w granice początku i końca

Model VAD może generować prawdopodobieństwa, ale transkrypcja potrzebuje spójnych przedziałów. Progi i wygładzanie przekształcają wyniki ramek w użyteczne czasy rozpoczęcia i zakończenia.

SpeechBrain opisuje obliczanie wyników a posteriori, progowanie, wyznaczanie granic, scalanie i usuwanie krótkich segmentów. Te kroki wpływają na to, co faktycznie trafia później do ASR. Google Research pokazuje, że decyzje VAD można warunkować i progować, aby określić, kiedy obecna jest mowa docelowa, co wspiera logikę wyznaczania granic opisaną w badaniu Google Personal VAD.

Agresywne progi oszczędzają więcej mocy obliczeniowej, ale mogą obcinać ciche spółgłoski. Zachowawcze progi lepiej chronią kontekst, lecz przepuszczają dalej więcej ciszy i szumu.

Tylko zaakceptowana mowa wymaga pełnego przetwarzania ASR

Gdy znane są przedziały mowy, potok może przyciąć nagranie lub je przefiltrować, tak aby rozpoznawanie obejmowało wybrane fragmenty zamiast całej osi czasu.

NVIDIA wykorzystuje znaczniki czasu VAD jako warstwę wykrywania obecności mowy przed dalszą analizą dźwięku. Ten sam mechanizm może bezpośrednio sterować transkrypcją. NVIDIA Riva umieszcza VAD przed pełnym rozpoznawaniem mowy, aby regiony niemowy można było odfiltrować przed kosztownym przetwarzaniem ASR, ilustrując bramkowanie obliczeń w przeglądzie ASR NVIDIA Riva.

VAD nie przyspiesza modelu ASR dla każdej zaakceptowanej sekundy.

Zmniejsza liczbę sekund, które trafiają do kosztownych etapów kodera i dekodera.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

Margines chroni słowa na granicach mowy

Początkowe spółgłoski i końcowe dźwięki mogą spaść poniżej progu, mimo że słuchacz uznaje je za część wypowiedzi. Dlatego praktyczne rozwiązania VAD zachowują krótki kontekst wokół wykrytego regionu.

Interfejs wnioskowania SpeechBrain opisuje dopracowywanie granic i przetwarzanie segmentów po wykryciu. To przetwarzanie wyjaśnia, dlaczego VAD jest czymś więcej niż pojedynczym wywołaniem klasyfikatora binarnego. Badania Apple nad spersonalizowanym wykrywaniem aktywności głosowej omawiają zachowanie granic mowy i kompromisy związane z błędami, co uzasadnia stosowanie marginesu wokół wykrytych regionów, jak opisano w badaniu Apple nad spersonalizowanym VAD.

Margines celowo oddaje niewielką część mocy obliczeniowej zaoszczędzonej dzięki przycinaniu. Zwykle jest to lepsze niż utrata pierwszego fonemu polecenia albo ucięcie imienia.

VAD i wykrywanie słowa aktywującego to różne bramki

Detektor słowa aktywującego sprawdza, czy wypowiedziano konkretną frazę aktywującą.

VAD sprawdza, czy w ogóle występuje mowa, dlatego zawsze włączony system głosowy może wykorzystywać oba mechanizmy jeden po drugim.

Analiza opóźnienia wykrywania słowa aktywującego firmy ZimaSpace omawia pętlę aktywacji; VAD obsługuje granice mowy po tej bramce lub wokół niej. Badania nad VAD na urządzeniach rozróżniają filtrowanie mowy docelowej od szerszej logiki wyzwalania głosem, co pomaga oddzielić VAD od wykrywania słowa aktywującego w badaniu spersonalizowanego VAD na urządzeniu.

To rozróżnienie pojawia się również w lokalnym przetwarzaniu mowy na tekst i intencji, gdzie aktywacja, rozpoznawanie mowy, obsługa intencji i generowanie odpowiedzi są oddzielnymi etapami.

Pominięta mowa i wykryta mowa fałszywa wyznaczają kompromis

Fałszywie ujemna decyzja usuwa prawdziwą mowę, zanim ASR zdąży ją odzyskać. Fałszywie dodatnia decyzja przekazuje szum, który marnuje moc obliczeniową i może stać się przypadkowym tekstem.

Udokumentowana przez SpeechBrain sekwencja progowania, scalania i filtrowania segmentów pokazuje, gdzie można dostrajać te błędy. Badania VAD w warunkach hałasu pokazują, dlaczego liczba fałszywie wykrytych dźwięków i pominiętej mowy zmienia się w przeciwnych kierunkach wraz ze zmianą progów, co odpowiada kompromisowi omówionemu w badaniach nad odpornym VAD.

Akustyka domowa dodatkowo utrudnia wyznaczenie tej granicy. Analiza rozpoznawania mowy z dużej odległości firmy ZimaSpace wyjaśnia, dlaczego hałas i pogłos mogą zmienić dane wejściowe VAD, zanim rozpocznie się transkrypcja.