Vad är diariseringsfelgrad, och vad exkluderar den från talnoggrannheten?

Eva Wong

IceWhale author

Eva Wong är Teknisk skribent och den boende fixaren på ZimaSpace. En livslång nörd med en passion för hemma-labb och öppen källkod, hon specialiserar sig på att översätta komplexa tekniska koncept till tillgängliga, praktiska guider. Eva tror att självhosting ska vara roligt, inte skrämmande. Genom sina handledningar ger hon gemenskapen verktyg att avmystifiera hårdvaruinstallationer, från att bygga sin första NAS till att bemästra Docker-containrar.

What Is Diarization Error Rate, and What Does It Exclude From Speech Accuracy? - Zima Store Online

Diariseringsfelgrad mäter tid som tilldelats uteblivet tal, falskt tal eller fel talare, inte huruvida de talade orden transkriberades korrekt.

Ett mötesarkiv kan uppnå låg DER samtidigt som namn stavas fel, viktiga ord utelämnas eller talare märks med anonyma men internt konsekventa ID:n. Omvänt kan en korrekt transkribering ha dålig diariseringskvalitet om varje ord tilldelas fel person. DER är endast användbart när dess poängsättningsregler och kompletterande talmått motsvarar den avsedda sök- eller granskningsuppgiften.

DER lägger till tre tidsbaserade felkomponenter

Uteblivet tal är referenstal som systemet markerar som tystnad, falskt alarm är icke-tal som markeras som tal och talarförväxling är tal som tillskrivs fel referenstalare efter optimal etikettmappning. Varaktigheterna summeras och divideras med den totala referenstaltiden.

Referensen för DER-definitionen definierar diariseringsfelgrad och exponerar parametrar för marginaler och överlappande tal. Dessa val påverkar vilka tidsintervall som ingår i täljaren och nämnaren, så en rapporterad DER är ofullständig utan utvärderingskonfigurationen.

Eftersom måttet baseras på varaktighet kan ett långt felaktigt tilldelat segment väga tyngre än många korta gränsfel. Det tillåter också värden över hundra procent i svåra fall när överlappande eller överflödigt hypoteserat tal ger ackumulerade fel.

Marginaler och regler för överlappning ändrar resultatet

En marginal utesluter ett litet område runt annoterade talargränser, eftersom exakta övergångstider kan vara tvetydiga. Vissa utvärderingar poängsätter överlappande tal medan andra hoppar över det; att ignorera överlappning får vanligtvis ett hushållssamtal med avbrott att verka enklare.

Den ursprungliga artikeln om diariseringspoängsättning anger formeln för falskt alarm, missad detektering och förväxling samt beskriver stöd för överlappande tal. Den dokumenterar också relaterade mått för renhet och täckning som visar klustringsbeteende som inte sammanfattas av ett enda DER-värde.

Två system kan därför rapportera olika DER-värden för samma ljud på grund av antaganden om annotering, marginaler, överlappning eller antal talare. Reproducerbara jämförelser kräver identiska referensfiler, förbehandling och poängsättningsalternativ. Denna skillnad förblir synlig under senare tester i hemmet.

Ordnoggrannhet och talaridentitet ingår inte i DER

DER mäter inte ordelfelfrekvens, interpunktion, tidsstämplar på ordnivå, semantisk fullständighet, språkidentifiering eller huruvida den anonyma talaren A korrekt har namngivits som Alice. Det utvärderar vem som talade när, enligt referens- och mappningsreglerna.

En praktisk uppdelning av DER-komponenterna delar upp DER i uteblivet tal, falskt alarm och förväxling och förklarar hur överlappning bidrar till fel. Denna uppdelning hjälper till att avgöra om röstaktivitetsdetektering eller talartilldelning är det begränsande steget.

Gränsen för vad måttet kan visa överskrids när låg DER används som bevis för att ett ljudarkiv är sökbart eller faktamässigt korrekt. Sökning kräver också transkriberingskvalitet, ord-till-talare-anpassning, identitetsmatchning och utvärdering av hämtning utifrån hushållets ordförråd.

-15% OFF

ZimaBoard 2 - Minihemmserver för din stora idé

Single board computer zimaboard2

Poängsätt talartiming och ord separat

Skapa representativt ljud med tyst tal, avbrott, TV-brus, talare på avstånd och överlappande samtal. Annotera talarturer och exakta ord, och beräkna sedan DER med angivna inställningar för marginaler och överlappning, samt ordelfelfrekvens och talartillskriven ordelfelfrekvens.

Använd stegen för sökbart ljud i sökningsbart hemljud för att testa om varje hämtat ord pekar på rätt talare och tidsstämpel. Granska felkomponenterna per rum och akustisk miljö i stället för att förlita dig på en enda sammanlagd procentsats.

Godkänn endast när både diariserings- och transkriberingsresultaten uppfyller sina uppgiftsspecifika tröskelvärden. Håll anonym klustring och faktisk identitetstilldelning som separata utvärderingar och publicera poängsättningsinställningarna när DER jämförs mellan modeller eller versioner. Det mellanliggande resultatet måste förbli granskningsbart innan automatisering följer.