Pourquoi les résultats de transcription semblent-ils moins précis avec le son du haut-parleur ?

La transcription via haut-parleur se dégrade souvent, car la diffusion par le haut-parleur, les réflexions de la pièce, l’annulation de l’écho et la distance modifient les caractéristiques vocales reçues par le système de reconnaissance automatique de la parole (ASR).

Un enregistrement de réunion diffusé par le haut-parleur d’un téléphone peut sembler compréhensible à une personne, tout en produisant davantage de substitutions sur un serveur domestique. Le système de reconnaissance reçoit un signal acoustique de deuxième génération : la parole compressée est reproduite par un petit haut-parleur, mélangée à la réponse de la pièce, puis captée à nouveau par un autre microphone.

La parole diffusée par haut-parleur passe par un second canal

La parole directe ne parcourt qu’une fois la distance entre la bouche et le microphone. La parole diffusée par haut-parleur a déjà été encodée, décodée, reproduite, réfléchie par la pièce, puis captée à nouveau. Chaque étape modifie l’équilibre spectral et la synchronisation. Les petits haut-parleurs peuvent affaiblir les basses fréquences, tandis que les codecs téléphoniques suppriment les détails jugés moins importants pour la conversation.

Une étude consacrée à la parole émise par haut-parleur examine la réaction des systèmes ASR lorsque la parole est reproduite par des haut-parleurs plutôt que prononcée naturellement. Cette distinction est importante, car la chaîne acoustique et matérielle ne correspond plus aux échantillons d’entraînement ordinaires.

Le résultat ne se résume pas à une baisse du volume. Les explosions consonantiques peuvent s’atténuer, les voyelles peuvent résonner et les artefacts du codec peuvent se répéter. Les humains reconstituent les mots grâce au contexte, mais le système de reconnaissance doit associer des caractéristiques à court terme altérées à des unités lexicales, ce qui rend les noms et les commandes aux sonorités proches particulièrement vulnérables.

La réverbération et le brouillage par l’écho estompent les limites entre les mots

Les réflexions arrivent quelques millisecondes après le son direct et se superposent aux phonèmes suivants. Un haut-parleur de téléphone produit également un écho acoustique lorsque sa propre sortie revient vers son microphone. L’annulation d’écho estime et soustrait ce trajet, mais les mouvements, les haut-parleurs non linéaires et la parole simultanée peuvent laisser des résidus ou supprimer des parties de la voix cible.

Un guide consacré à la reconnaissance en champ lointain explique pourquoi la parole distante nécessite une déréverbération, une séparation des sources et une formation de faisceaux avant la reconnaissance. La rediffusion par haut-parleur combine ce problème de champ lointain avec un canal de reproduction supplémentaire.

Les erreurs se concentrent souvent sur la parole rapide, les locuteurs qui se chevauchent et les pièces aux surfaces dures. Augmenter le volume peut améliorer le niveau du signal tout en accentuant l’énergie réverbérante ou l’écrêtage. Un volume plus élevé ne fournit pas automatiquement des informations plus propres à l’ASR.

Quand le haut-parleur n’est pas la cause principale

L’explication par le haut-parleur atteint ses limites si le fichier d’origine contient déjà des erreurs, si le mauvais modèle de langue est sélectionné ou si la transcription diffère avant et après la lecture uniquement parce que les fréquences d’échantillonnage ou les canaux changent. Un suppresseur de bruit distinct peut également déformer davantage l’audio recapturé que la pièce elle-même.

Les recherches sur l’ASR tenant compte de la scène utilisent la réverbération mesurée de la pièce afin de sélectionner des conditions d’entraînement réalistes et obtiennent de meilleures performances en matière de taux d’erreur sur les mots que celles obtenues avec des réponses de pièce choisies aléatoirement. Cela montre qu’une adéquation entre le domaine du modèle et celui des données peut atténuer les différences acoustiques, sans les éliminer.

Le mécanisme n’est également pas concluant lorsqu’un microphone direct placé à la même distance obtient des résultats tout aussi médiocres, ce qui indique un problème général de captation en champ lointain. Si la transcription d’une boucle de retour sans perte est déjà erronée, le haut-parleur et la pièce interviennent en aval du véritable problème. Comparez les différentes étapes avant de modifier le matériel.

-15% OFF

ZimaBoard 2 - Mini serveur domestique pour votre grande idée

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Séparez le fichier numérique du trajet haut-parleur-pièce

Transcrivez quatre versions des mêmes énoncés : le fichier d’origine, la boucle de retour numérique, la lecture par haut-parleur captée à proximité et la lecture par haut-parleur captée à la position d’écoute réelle. Gardez constants le modèle ASR, la langue, la fréquence d’échantillonnage et les paramètres de décodage ; mesurez séparément les erreurs de mots pour les noms, les nombres et les commandes.

Utilisez un flux de travail vocal local afin que l’audio ne quitte pas le domicile, tout en conservant la traçabilité des fichiers appariés et des transcriptions. Enregistrez les notes sur la réponse impulsionnelle et le volume du haut-parleur avec chaque résultat.

Si la boucle de retour numérique est précise mais que la recapture dans la pièce échoue, le trajet haut-parleur-pièce-microphone est causal. Si les captations proche et éloignée divergent, la distance et la réverbération dominent. Si toutes les versions échouent de la même manière, adaptez le vocabulaire ou le domaine du modèle au lieu d’accuser l’acoustique du haut-parleur.