Jak diarizacja mówców rozdziela głosy w prywatnym archiwum audio?

Diarizacja mówców rozdziela głosy, wykrywając mowę, tworząc reprezentacje cech mówców, grupując podobne segmenty i przypisując etykiety mówców z powrotem do osi czasu nagrania.

Prywatne archiwum może zawierać wywiady, spotkania, nagrania domowe i notatki głosowe, w przypadku których same słowa nie wystarczą. Diarizacja dodaje strukturę określającą, kto i kiedy mówił, bez wysyłania nagrania poza domowy serwer.

Diarizacja najpierw wykrywa miejsca występowania mowy

Diarizacja mówców zwykle zaczyna się od oddzielenia mowy od ciszy i dźwięków innych niż mowa. Zapobiega to uznawaniu muzyki, odgłosów pomieszczenia i długich przerw za fałszywe informacje o tożsamości mówcy.

NVIDIA opisuje kaskadowy potok diarizacji, który rozpoczyna się od wykrywania aktywności głosowej, a następnie przechodzi do tworzenia reprezentacji mówców i klasteryzacji. Etap VAD generuje znaczniki czasu dla obszarów zawierających mowę. NeMo dzieli diarizację na etapy wykrywania mowy, reprezentacji mówców i klasteryzacji, co pokazuje, dlaczego potok najpierw potrzebuje osi czasu mowy, zanim przypisze mówców za pośrednictwem potoku diarizacji NVIDIA NeMo.

Na domowym serwerze ogranicza to zarówno zbędne przetwarzanie, jak i tworzy wczesny punkt wykrywania błędów. Jeśli cicha mowa zostanie tutaj pominięta, późniejsza klasteryzacja mówców nie będzie w stanie odzyskać brakującego fragmentu głosu.

Reprezentacje mówców umożliwiają porównywanie segmentów głosu

Każdy wykryty obszar mowy jest przekształcany w reprezentację mówcy: kompaktowy wektor zachowujący cechy przydatne do rozróżniania głosów.

NeMo dokumentuje potok, w którym reprezentacje mówców są wyodrębniane przed klasteryzacją. Wektory te przedstawiają podobieństwo mówców, a nie dosłowne imię i nazwisko członka gospodarstwa domowego. Google Research opisuje reprezentacje mówców jako podstawowy element nowoczesnych systemów diarizacji, potwierdzając zastosowanie reprezentacji wektorowych do porównywania tego, kto mówi w poszczególnych segmentach, w badaniach Google nad diarizacją mówców.

Oznacza to, że prywatne archiwum może wygenerować etykiety Mówca 1 i Mówca 2 bez utrzymywania bazy tożsamości.

Powiązanie klastra z konkretną osobą to osobny etap rejestracji lub etykietowania.

Klasteryzacja przekształca podobne reprezentacje w etykiety mówców

Po utworzeniu reprezentacji system grupuje podobne wektory w klastry. Każdy klaster staje się tymczasową tożsamością mówcy dla danego nagrania.

NVIDIA wskazuje klasteryzację jako moduł grupujący reprezentacje mówców. Grupowanie zależy od podobieństwa akustycznego, a nie od transkrybowanych słów. Microsoft Research traktuje wyuczone reprezentacje mówców i klasteryzację jako powiązane problemy diarizacji, co potwierdza etap klasteryzacji opisany w badaniach Microsoft Research nad klasteryzacją mówców.

Właśnie dlatego diarizacja i rozpoznawanie mowy to odrębne procesy. Transkrypcja może zawierać błędne słowo, a otaczający je dźwięk nadal może być prawidłowo przypisany do klastra właściwego mówcy.

Featured

ZimaCube 2 Osobisty domowy NAS w chmurze

ZimaCube2

$799.00 - $2,499.00

Buy Now

Granice wypowiedzi decydują o momencie zmiany mówcy

Nagranie jest ciągłe, dlatego potok musi określić nie tylko, który klaster pasuje, lecz także gdzie kończy się jedna wypowiedź mówcy i zaczyna kolejna.

NeMo obsługuje diarizację wieloskalową z reprezentacjami tworzonymi dla segmentów o różnej długości. Dłuższe okna stabilizują identyfikację, natomiast krótsze pomagają lokalizować szybkie zmiany. Nowoczesne systemy diarizacji jawnie modelują zmiany mówców i granice segmentacji, zamiast przypisywać jedną etykietę mówcy do całego nagrania, jak pokazują badania pyannote nad diarizacją mówców.

Szybkie rozmowy domowe ujawniają ten kompromis. Zbyt długie okna mogą zlać w jedno szybką zmianę mówcy;

zbyt krótkie mogą zawierać zbyt mało informacji o głosie, aby zapewnić stabilną klasteryzację.

Etykiety mówców są przypisywane z powrotem do przeszukiwalnych transkrypcji

Gdy zmiany mówców są już ustalone, ich znaczniki czasu można wyrównać z wynikami ASR, dzięki czemu archiwum przechowuje zarówno treść wypowiedzi, jak i informację o tym, kto prawdopodobnie ją wypowiedział.

NVIDIA definiuje diarizację jako określanie, kto i kiedy mówił, w połączeniu z rozpoznawaniem mowy. Obie warstwy można więc uruchamiać ponownie niezależnie. Badania nad diarizacją na urządzeniu pokazują, że rozdzielanie mówców może odbywać się lokalnie, dzięki czemu diarizacja jest przydatna w prywatnych archiwach audio bez konieczności korzystania z przetwarzania w chmurze; zobacz badania nad diarizacją mówców na urządzeniu.

Mechanizm ten uzupełnia analizę ZimaSpace dotyczącą zamiany tożsamości mówców w długich transkrypcjach, która koncentruje się na dryfie klastrów po ustanowieniu standardowego potoku diarizacji.

Nakładanie się głosów i zmiany akustyczne wyznaczają praktyczne ograniczenia

Jednoczesne mówienie dwóch osób narusza proste założenie, że każdy segment zawiera jednego mówcę.

Segment z wymieszanymi głosami może wygenerować reprezentację, która nie pasuje dokładnie do żadnego z nich.

NeMo rozróżnia potoki klasteryzacji od podejść neuronowych, takich jak VAD ukierunkowany na docelowego mówcę, służących do szacowania etykiet mówców. Metody te pomagają w przypadku nakładania się głosów, ale nie eliminują trudnych warunków akustycznych. IBM Research również podkreśla trudności związane z nakładaniem się głosów i zmiennymi warunkami akustycznymi, potwierdzając, że jakość diarizacji ma praktyczne ograniczenia opisane w badaniach IBM nad diarizacją mówców.

Odległość i pogłos mogą również zniekształcać cechy tożsamości. analiza rozpoznawania głosu z dużej odległości firmy ZimaSpace wyjaśnia wcześniejsze zmiany akustyczne, które mogą wpływać zarówno na rozpoznawanie, jak i diarizację.