Hur separerar talardiärisering röster i ett privat ljudarkiv?

Talarseparering identifierar röster genom att lokalisera tal, skapa talarrepresentationer, gruppera liknande segment och tilldela talaretiketter till rätt plats på ljudets tidslinje.

Ett privat arkiv kan innehålla intervjuer, möten, hemmavideor och röstanteckningar där orden i sig inte räcker. Talarseparering lägger till information om vem som talade när, utan att inspelningen behöver lämna hemmaservern.

Talarseparering börjar med att hitta var tal förekommer

Talarseparering börjar vanligtvis med att skilja tal från tystnad och icke-talande ljud. Det förhindrar att musik, rumsbrus och långa pauser blir falska bevis för talarens identitet.

NVIDIA beskriver en kaskadbaserad pipeline för talarseparering som börjar med röstaktivitetsdetektering innan talarrepresentationer och klustring genomförs. VAD-steget skapar tidsstämplar för talregioner. NeMo delar upp talarseparering i stegen taldetektering, talarrepresentation och klustring, vilket visar varför pipelinen först behöver en tidslinje över talet innan talare tilldelas genom NVIDIA NeMo-pipelinen för talarseparering.

På en hemmaserver minskar detta både onödigt arbete och skapar en tidig felgräns. Om tyst tal klipps bort här kan senare talarklustring inte återskapa det saknade röstsegmentet.

Talarrepresentationer gör röstsegment jämförbara

Varje upptäckt talregion omvandlas till en talarrepresentation: en kompakt vektor som bevarar egenskaper som är användbara för att skilja röster åt.

NeMo dokumenterar en pipeline där talarrepresentationer extraheras före klustringen. Dessa vektorer representerar likhet mellan talare, inte det faktiska namnet på en familjemedlem. Google Research beskriver talarrepresentationer som en central del av moderna system för talarseparering, vilket stöder användningen av representationer för att jämföra vem som talar i olika segment i Googles forskning om talarseparering.

Det innebär att ett privat arkiv kan skapa Talar 1 och Talar 2 utan att underhålla en identitetsdatabas.

Att koppla ett kluster till en verklig person är ett separat steg för registrering eller märkning.

Klustring omvandlar liknande representationer till talaretiketter

När representationerna har skapats grupperar systemet liknande vektorer i kluster. Varje kluster blir en preliminär talaridentitet för inspelningen.

NVIDIA identifierar klustring som den modul som grupperar talarrepresentationer. Grupperingen baseras på akustisk likhet, inte på orden som transkriberas. Microsoft Research har behandlat inlärda talarrepresentationer och klustring som sammankopplade problem inom talarseparering, vilket stöder klustringssteget som beskrivs i Microsoft Research om talklustring.

Det är därför talarseparering och taligenkänning är separata funktioner. Transkriberingen kan innehålla ett felaktigt ord samtidigt som det omgivande ljudet fortfarande tillskrivs rätt talarkluster.

Featured

ZimaCube 2 personlig molnhem NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Turgränser avgör när talaren byts

En inspelning är kontinuerlig, så pipelinen måste avgöra inte bara vilket kluster som passar utan även var en taltur slutar och nästa börjar.

NeMo stöder talarseparering i flera skalor med representationer från segment av olika längd. Längre fönster stabiliserar identiteten, medan kortare fönster hjälper till att lokalisera snabba förändringar. Moderna system för talarseparering modellerar uttryckligen talarturer och segmenteringsgränser i stället för att tilldela en enda talaretikett till en hel inspelning, vilket visas i pyannote-forskning om talarseparering.

Snabba samtal i hemmet tydliggör denna avvägning. Fönster som är för långa kan sudda ut ett snabbt talarbyte;

fönster som är för korta kan innehålla för lite röstinformation för stabil klustring.

Talaretiketter synkroniseras med sökbara transkriberingar

När talturerna är fastställda kan deras tidsstämplar synkroniseras med ASR-resultatet, så att arkivet lagrar både vad som sades och vem som sannolikt sade det.

NVIDIA definierar talarseparering som att besvara frågan vem som talade när, parallellt med taligenkänning. De två lagren kan därför köras omständigt oberoende av varandra. Forskning om talarseparering på enheter visar att talarseparering kan utföras lokalt, vilket gör tekniken användbar för privata ljudarkiv utan krav på molnbearbetning; se forskning om talarseparering på enheter.

Denna mekanism kompletterar ZimaSpaces analys av byten av talaridentitet i långa transkriberingar, som fokuserar på klusterförskjutning efter att den normala pipelinen för talarseparering redan har etablerats.

Överlappande tal och akustiska förändringar sätter den praktiska gränsen

När två personer talar samtidigt bryts det enkla antagandet att varje segment har en talare.

Ett blandat segment kan skapa en representation som inte tydligt tillhör någon av rösterna.

NeMo skiljer mellan klustringspipelines och neurala metoder, exempelvis målartad VAD, för att uppskatta talaretiketter. Dessa metoder hjälper vid överlappande tal men eliminerar inte svåra akustiska förhållanden. IBM Research lyfter också fram svårigheterna med överlappande tal och förändrade akustiska förhållanden, vilket förstärker att kvaliteten på talarsepareringen har praktiska begränsningar som beskrivs i IBMs forskning om talarseparering.

Avstånd och efterklang kan också förvränga identitetsegenskaper. ZimaSpaces analys av röstigenkänning på långt avstånd förklarar de akustiska förändringar tidigare i kedjan som kan påverka både igenkänning och talarseparering.