Czym jest współczynnik błędu diarizacji i czego nie uwzględnia w dokładności rozpoznawania mowy?

Eva Wong

IceWhale author

Eva Wong jest Technicznym pisarzem i stałym majsterkowiczem w ZimaSpace. Całe życie geek z pasją do homelabów i oprogramowania open-source, specjalizuje się w tłumaczeniu skomplikowanych koncepcji technicznych na przystępne, praktyczne przewodniki. Eva wierzy, że samodzielne hostowanie powinno być zabawą, a nie czymś onieśmielającym. Poprzez swoje samouczki umożliwia społeczności rozwiewanie tajemnic konfiguracji sprzętu, od budowy pierwszego NAS po opanowanie kontenerów Docker.

What Is Diarization Error Rate, and What Does It Exclude From Speech Accuracy? - Zima Store Online

Wskaźnik błędu diarizacji mierzy czas przypisany do pominiętej mowy, fałszywej mowy lub niewłaściwego mówcy, a nie to, czy wypowiedziane słowa zostały poprawnie transkrybowane.

Archiwum spotkań może osiągać niski DER, jednocześnie błędnie zapisując imiona, pomijając kluczowe słowa lub oznaczając mówców anonimowymi, ale wewnętrznie spójnymi identyfikatorami. Z kolei dokładna transkrypcja może mieć słabą diarizację, jeśli każde słowo zostanie przypisane niewłaściwej osobie. DER jest użyteczny tylko wtedy, gdy jego zasady oceny i towarzyszące mu metryki mowy odpowiadają zamierzonemu zadaniu wyszukiwania lub przeglądu.

DER dodaje trzy elementy błędu oparte na czasie

Pominięta mowa to mowa referencyjna, którą system oznacza jako ciszę, fałszywy alarm to dźwięki niemowy oznaczone jako mowa, a pomylenie mówców to mowa przypisana niewłaściwemu mówcy referencyjnemu po optymalnym odwzorowaniu etykiet. Ich czasy trwania są sumowane i dzielone przez całkowity czas mowy referencyjnej.

Dokumentacja definicji DER definiuje wskaźnik błędu diarizacji i udostępnia parametry dotyczące marginesów oraz nakładającej się mowy. Wybory te wpływają na to, które przedziały czasowe trafiają do licznika i mianownika, dlatego raportowany DER jest niepełny bez konfiguracji oceny.

Ponieważ metryka opiera się na czasie trwania, jeden długi segment przypisany niewłaściwie może przeważyć nad wieloma krótkimi błędami granic. W trudnych przypadkach dopuszcza ona także wartości powyżej stu procent, gdy nakładająca się lub nadmiarowa prognozowana mowa powoduje skumulowany błąd.

Marginesy i zasady nakładania mowy zmieniają wynik

Margines wyklucza niewielki obszar wokół oznaczonych granic mówców, uwzględniając fakt, że dokładne momenty przejścia mogą być niejednoznaczne. Niektóre oceny uwzględniają nakładającą się mowę, a inne ją pomijają; ignorowanie nakładania zwykle sprawia, że rozmowa domowa z przerwami wygląda na łatwiejszą.

Oryginalny artykuł dotyczący oceny diarizacji przedstawia wzór na fałszywe alarmy, pominięcia i pomylenia oraz opisuje obsługę nakładającej się mowy. Dokumentuje również powiązane miary czystości i pokrycia, które pokazują zachowanie klasteryzacji nieujęte w jednym wyniku DER.

Dlatego dwa systemy mogą raportować różne wartości DER dla tego samego dźwięku z powodu założeń dotyczących adnotacji, marginesu, nakładania lub liczby mówców. Powtarzalne porównanie wymaga identycznych plików referencyjnych, wstępnego przetwarzania i opcji oceny. Różnica ta pozostaje widoczna podczas późniejszych testów domowych.

Dokładność słów i tożsamość mówcy pozostają poza DER

DER nie mierzy współczynnika błędów słów, interpunkcji, znaczników czasu na poziomie słów, kompletności semantycznej, identyfikacji języka ani tego, czy anonimowy mówca A został poprawnie rozpoznany jako Alicja. Ocenia, kto mówił i kiedy, zgodnie z zasadami referencji i odwzorowania.

Praktyczny opis składowych DER dzieli DER na pominiętą mowę, fałszywy alarm i pomylenie oraz wyjaśnia, jak nakładanie przyczynia się do błędów. Taki rozkład pomaga ustalić, czy etapem ograniczającym jest wykrywanie aktywności głosowej, czy przypisywanie mówców.

Granica błędu polega na uznaniu niskiego DER za dowód, że archiwum audio jest przeszukiwalne lub poprawne pod względem faktów. Wyszukiwanie wymaga również jakości transkrypcji, wyrównania słów z mówcami, rozpoznawania tożsamości i oceny wyszukiwania na słownictwie domowym.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

Oceniaj czas mówców i słowa osobno

Utwórz reprezentatywne nagrania zawierające cichą mowę, przerwania, hałas telewizora, mówców znajdujących się w oddali oraz nakładające się rozmowy. Oznacz zwroty mówców i dokładne słowa, a następnie oblicz DER z zadeklarowanymi ustawieniami marginesu i nakładania, a także współczynnik błędów słów oraz współczynnik błędów słów przypisanych mówcom.

Wykorzystaj etapy przetwarzania dźwięku opisane w artykule przeszukiwalny dźwięk domowy, aby sprawdzić, czy każde znalezione słowo wskazuje właściwego mówcę i znacznik czasu. Analizuj składowe błędów według pomieszczenia i warunków akustycznych, zamiast polegać na jednym zbiorczym procencie.

Wdrażaj rozwiązanie dopiero wtedy, gdy zarówno diarizacja, jak i transkrypcja spełniają progi określone dla danego zadania. Traktuj anonimową klasteryzację i przypisywanie rzeczywistych tożsamości jako osobne oceny oraz publikuj ustawienia oceny za każdym razem, gdy DER jest porównywany między modelami lub wydaniami. Wynik pośredni musi pozostać możliwy do skontrolowania, zanim zostanie zastosowana automatyzacja.