Hur påverkar strålsökning noggrannhet och fördröjning vid lokal taligenkänning?

Strålsökning kan förbättra noggrannheten hos lokal taligenkänning genom att bevara flera rimliga transkriberingar, men bredare strålar ökar avkodningsarbetet, minnesanvändningen och svarsfördröjningen.

Avvägningen blir tydlig när tydligt tal avkodas korrekt med en liten stråle, medan brusigt ljud, namn eller tvetydiga fraser gynnas av att fler hypoteser hålls vid liv.

Girig avkodning väljer en väg för tidigt

En taligenkännare producerar sannolikheter för token eller symboler. Girig avkodning behåller endast det lokalt bästa alternativet. Det går snabbt, men kan förkasta ett alternativ som senare skulle ha blivit bättre.

PyTorchs handledning om CTC-avkodning demonstrerar strålsökning med stöd för lexikon och språkmodell, där flera partiella hypoteser bevaras i stället för en enda väg. PyTorch jämför CTC-strålavkodning med enklare avkodningsvägar och visar varför det kan undvika ett tidigt girigt val att behålla flera hypoteser; se PyTorchs CTC-strålsökningsavkodare.

Det spelar roll när den akustiska informationen är tvetydig. En tokensekvens som tillfälligt ligger på andra plats kan senare bli den mest sannolika fullständiga transkriberingen.

Strålbredden anger sökbudgeten

Strålbredden styr hur många kandidatsekvenser som överlever varje utvidgning.

En bredare stråle ger avkodaren fler möjligheter att återhämta sig efter ett tidigt lokalt misstag.

Torchaudio exponerar beam_width som den strålstorlek som används under sökningen. Fler överlevande hypoteser kräver mer poängberäkning, minne och jämförelser. NVIDIA Riva erbjuder strålsökningsliknande avkodningsalternativ, vilket visar att strålbredden är en konfigurerbar sökbudget och inte en egenskap hos den akustiska kodaren i sig; se NVIDIAs dokumentation för strålavkodare.

Om den korrekta sekvensen redan ligger nära toppen i en liten stråle tillför en större stråle arbete utan någon meningsfull ökning av noggrannheten. Vinsten beror på felens fördelning.

Beskärning förhindrar kombinatorisk explosion

Utan beskärning skulle varje hypotes kunna förgrenas till många token vid varje steg.

Strålsökning tar upprepade gånger bort grenar med låga poäng så att kandidatmängden förblir begränsad.

PyTorch tillhandahåller en särskild CTC-strålsökningsavkodare som separerar söklogiken från själva den akustiska modellen. SpeechBrain exponerar parametrar för CTC-strålsökning som beskär kandidatsekvenser under avkodningen och stöder därmed den sökkontrollmekanism som beskrivs i SpeechBrains CTC-strålavkodare.

Fördröjningskostnaden kommer därför från extra hantering och poängsättning av hypoteser, inte från att varje möjlig transkribering räknas upp.

Featured

ZimaCube 2 personlig molnhem NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Språkmodeller kan ändra vilken hypotes som vinner

Akustiska poäng räcker kanske inte för att skilja mellan två rimliga fraser. En avkodare kan lägga till poäng från lexikon eller språkmodell, så att en något svagare akustisk väg rankas högre om frasen är mer språkligt sannolik.

PyTorch-exemplet stöder uttryckligen KenLM och lexikonbegränsningar under strålavkodning. Forskning om gemensam CTC–attention-avkodning visar att poäng från flera modeller kan delta i rankningen vid strålsökning, vilket stöder diskussionen om språkmodeller och omrankning i gemensam CTC–attention-strålsökning.

Detta kan hjälpa med namn och återkommande fraser i hemmet när språkmodellen representerar dem, men kan också styra ovanliga men korrekt uttalade termer mot vanliga alternativ.

Strålsökning ökar avkodningsfördröjningen, inte nödvändigtvis kodarbetet

Strålsökning ökar vanligtvis arbetet efter att de akustiska funktionerna har producerats.

Kodaren kan köras i samma hastighet, medan den totala transkriberingsfördröjningen ökar eftersom fler hypoteser utvidgas.

PyTorch dokumenterar även en CUDA-baserad CTC-strålsökningsavkodare, vilket visar att sökarbetet kan flyttas till en accelerator. Forskning om GPU-accelererad strålsökning visar att själva avkodningen kan bli ett betydande beräkningssteg, vilket stöder skillnaden i fördröjning som beskrivs i GPU-accelererad strålsökning för ASR.

ZimaSpaces genomgång av fördröjningen hos en lokal röstassistent visar den bredare helheten: avkodning är bara ett steg i en interaktiv röstförfrågan.

Den bästa strålen är den minsta som bevarar noggrannheten

Strålbredden bör finjusteras mot ord-felfrekvens och total fördröjning för hushållets verkliga ljud. Målet är inte den största stråle som servern klarar av.

Torchaudio stöder strålsökning för strömmande RNN-T, vilket gör fördröjningen särskilt viktig för interaktiv röststyrning. Forskning om vektoriserad strålsökning fokuserar på att minska sökkostnaden samtidigt som användbara hypoteser bevaras, vilket förstärker den praktiska stoppregel som beskrivs i forskning om vektoriserad strålsökning.

Kvaliteten på det inkommande ljudet sätter fortfarande gränserna för återhämtningen. ZimaSpaces analys av bristande igenkänning på långt avstånd behandlar den informationsförlust som sökningen inte kan återskapa.

Vanliga frågor

Minskar en större stråle alltid ord-felfrekvensen?

Nej. Vinsterna kan plana ut, och olämplig viktning av språkmodellen eller beskärning kan flytta felen i stället för att ta bort dem.

Är strålsökning användbar utan en extern språkmodell?

Ja. Den kan fortfarande bevara flera akustiskt rimliga tokenvägar. En extern språkmodell är en ytterligare poängsignal.

Gör strålsökning själva talmodellen långsammare?

Den tillför främst arbete för avkodning och sökning. Den akustiska kodaren kan köras i samma hastighet, medan den totala transkriberingsfördröjningen ökar.