Waarom werkt lokale spraakherkenning vaker niet in ruimtes met een grote spreekafstand?

Lokale spraakherkenning werkt in ruimtes met een groot opnamebereik vaker niet goed, omdat afstand het directe spraaksignaal verzwakt terwijl reflecties, ruis en stemmen van anderen sterk blijven.

Een lokale spraakassistent in de keuken, woonkamer of open leefruimte kan hetzelfde spraakmodel gebruiken dat goed presteert naast de microfoon van een laptop. De akoestische invoer is echter niet hetzelfde. Gesproken woorden reizen door de ruimte, verliezen aan volume, komen via meerdere reflectiepaden aan en vermengen zich met ventilatie, televisies, apparaten en andere sprekers. De fout kan al vóór de transcriptie ontstaan: zowel wake-worddetectie, stemactiviteitsdetectie, richtingsbepaling, signaalverbetering als automatische spraakherkenning zijn afhankelijk van een bruikbaar signaal.

Afstand verkleint het aandeel direct geluid

Als je verder van de microfoon weggaat, neemt het niveau van de directe stem die de capsule bereikt af. Omgevingsgeluid en gereflecteerd geluid nemen niet noodzakelijk in hetzelfde tempo af, waardoor de bruikbare signaal-ruisverhouding en de verhouding tussen direct en gereflecteerd geluid verslechteren.

Shure’s uitleg van de kritieke afstand beschrijft het punt waarop direct spraakgeluid en gereflecteerde energie vergelijkbaar worden. Voorbij die grens kan alleen het veranderen van de microfo richting de oorspronkelijke stem niet volledig scheiden van reflecties die al bij de microfoon aankomen.

Daarom herstelt een luider model of een hogere ingangversterking deze verhouding niet. Versterking verhoogt de stem, het omgevingsgeluid en de nagalm samen; ze kan direct geluid dat de microfoon nooit helder heeft bereikt niet reconstrueren.

Nagalm laat het ene foneem overlopen in het volgende

Reflecties komen na het directe geluid aan en overlappen latere spraak. Korte medeklinkers en woordeinden kunnen worden gemaskeerd door de uitdovende energie van eerdere klanken, waardoor afzonderlijke akoestische patronen meer op elkaar gaan lijken.

Een overzicht van ASR in situaties met een groot opnamebereik legt uit dat spraakverwerkingsketens voor spraak op afstand vaak nagalmverwijdering, bronscheiding en beamforming nodig hebben vóór herkenning, omdat afstand vervormingen veroorzaakt waar systemen voor spraak dichtbij geen last van hebben.

Lange ruimtes, harde vloeren, kale muren en hoge plafonds verlengen deze overlap. Herkenning kan daardoor alleen in één ruimte mislukken of nadat meubels zijn verwijderd, ook al zijn de microfoon, het model en de homeserver niet veranderd.

Achtergrondruis concurreert met stille spraaksegmenten

Spraak bevat luide klinkers en veel zachtere medeklinkers. Een vaatwasser, ventilator, televisie, muziekstream of ander gesprek kan de energiearme segmenten bedekken die vergelijkbare woorden van elkaar onderscheiden.

Onderzoek naar ruis en nagalm samen merkt op dat microfoonsignalen op afstand hoge herkenningsfoutpercentages opleveren, omdat zowel een lagere signaal-ruisverhouding als ruimte-reflecties de invoer veranderen.

Het effect wordt niet alleen weergegeven door een gemiddelde meting van het omgevingsgeluid. Een korte uitbarsting van een blender, een spreker dichtbij of televisiedialoog die de opdracht overlapt, kan slechts enkele kritieke frames beschadigen en toch het herkende woord veranderen.

Featured

ZimaCube 2 Persoonlijke Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Microfoonarrays helpen alleen als geometrie en verwerking op elkaar aansluiten

Meerdere microfoons kunnen verschillen in timing en niveau leveren die de richting van een spreker onthullen. Beamforming kan die richting benadrukken en energie die van elders komt onderdrukken.

Een onderzoek met twee microfoons laat zien hoe geluidslokalisatie en beamforming verschillen in timing en energie tussen microfoons gebruiken om de bron te schatten en het opgenomen signaal te verbeteren.

Een array is niet automatisch beter. Microfoons die te dicht bij elkaar staan, geblokkeerde capsules, een onjuiste kanaalvolgorde, een ongeschikt bundelpatroon of een spreker buiten het verwachte bereik kunnen zwakke of misleidende ruimtelijke aanwijzingen opleveren.

Een mismatch tussen ruimte en microfoon kan een goed model verslaan

Een herkenner die voornamelijk is getraind op spraak dichtbij of gesimuleerde ruimtes, leert patronen die mogelijk niet overeenkomen met de werkelijke plaatsing van de microfoon, de nagalmtijd, het ruisprofiel en de spreekrichting van de gebruiker.

Het werk van Samsung Research over signaalverbetering voor spraak op afstand met één kanaal laat zien waarom de front-end moet worden aangepast aan spraak op afstand, in plaats van te veronderstellen dat modellen uit opnamen van dichtbij vanzelf generaliseren.

Een homesysteem kan daarom verbeteren wanneer het wordt aangepast aan of geëvalueerd met opnamen uit de echte ruimtes waarin het zal draaien. Algemene nauwkeurigheid bij schone spraak voorspelt de prestaties in een keuken met veel reflecties of een grote mediaruimte niet.

Signaalverbetering kan naast ruis ook spraak verwijderen

Ruisonderdrukking en nagalmverwijdering schatten in welke componenten bij spraak horen. Agressieve instellingen kunnen zwakke medeklinkers verwijderen, timing vervormen of artefacten creëren die voor een mens acceptabel klinken maar de herkenner in de war brengen.

Onderzoek naar modelaugmentatie voor spraak op afstand laat zien waarom herkenning moet worden getraind en geëvalueerd onder uiteenlopende akoestische omstandigheden, in plaats van te vertrouwen op één uitvoer van een schone signaalverbetering.

Vergelijk onbewerkte, verbeterde en met beamforming verwerkte opnamen met dezelfde opdrachten. Als het onbewerkte signaal het ontbrekende woord bevat maar het verwerkte signaal niet, onderdrukt de front-end bruikbare spraak in plaats van alleen een zwak ASR-model bloot te leggen.

Test de ruimte, de front-end en de herkenner afzonderlijk

Neem dezelfde vaste opdracht op verschillende afstanden en posities op terwijl achtergrondbronnen zijn uitgeschakeld, en herhaal dit met normale huishoudelijke ruis. Houd het stemniveau en de formulering gelijk, zodat de effecten van afstand en ruimte zichtbaar worden.

Controleer het succes van het wake word, de opgenomen audio, de grenzen van de stemactiviteit, de uitvoer van de signaalverbetering en de uiteindelijke transcriptie als afzonderlijke controlepunten. Een herkenningsfout die begint met een afgekapte opname vereist een andere oplossing dan een schone opname die verkeerd wordt getranscribeerd.

De uitleg van ZimaSpace over waarom een lokale stem een lage latentie nodig heeft voegt nog een grens toe: de verwerking moet snel klaar zijn, maar een lagere vertraging mag de detectiegraad niet verlagen of de akoestische stappen overslaan die nodig zijn voor betrouwbare herkenning op afstand.

Veelgestelde vragen

Lost een groter spraakmodel een ruimte met veel reflecties op?

Niet op zichzelf. Een groter model kan robuuster zijn, maar ernstig volumeverlies door afstand, clipping, nagalm en stemmen van anderen verwijderen of vervormen nog steeds informatie voordat het model die ontvangt.

Is één microfoon voldoende voor spraakbediening op afstand?

Dat kan werken in een kleine, stille ruimte met een gunstige plaatsing. Arrays worden waardevoller wanneer het systeem de richting moet bepalen, concurrerende bronnen moet onderdrukken of een groter gebied moet dekken.

Moet ik de microfoonversterking verhogen voor sprekers op afstand?

Alleen nadat je clipping en ruis hebt gecontroleerd. Versterking kan een zwak signaal verhogen, maar verhoogt ook omgevingsgeluid en reflecties en verbetert de verhouding tussen direct en gereflecteerd geluid niet.