Comment fonctionne la reconnaissance vocale : une histoire de 1952 à aujourd'hui

La reconnaissance vocale fonctionne en convertissant une onde sonore en une représentation numérique de son contenu fréquentiel, puis en utilisant un modèle entraîné pour prédire quels mots ont été prononcés. Cette réponse en une phrase est exacte aujourd'hui, mais elle masque soixante-dix ans de fausses pistes, de changements de paradigme et de quelques avancées critiques qui ont redéfini ce que le domaine croyait possible.

Ce billet retrace toute la trajectoire, depuis les premières machines capables de reconnaître des chiffres parlés en 1952 jusqu'aux modèles transformeurs qui égalent désormais la précision humaine sur un audio propre. Les détails techniques du pipeline neuronal actuel sont couverts dans notre billet complémentaire sur le fonctionnement de la reconnaissance vocale par IA, et le pipeline côté produit (upload, VAD, diarisation, mise en forme) est traité dans le fonctionnement de la transcription par IA. Ce billet constitue la base historique sur laquelle ces deux autres s'appuient.

Les années 1950 : Audrey et un départ très limité

L'Audrey des Bell Labs, construite en 1952, est reconnue comme le premier système de reconnaissance vocale. Elle occupait un rack de relais de six pieds et pouvait reconnaître les chiffres parlés de zéro à neuf. Cela semble modeste, mais c'était une véritable prouesse d'ingénierie : Audrey fonctionnait en analysant les formants (les pics de fréquence de résonance) de chaque chiffre prononcé et en les comparant à des modèles stockés.

Le hic : Audrey atteignait jusqu'à 97 pour cent de précision seulement si le locuteur était un homme, faisait une pause d'au moins 350 millisecondes entre chaque chiffre, et si la machine avait été calibrée pour la voix de ce locuteur précis. Cela marchait parce que la reconnaissance des chiffres est un problème à ensemble fermé avec seulement dix réponses possibles. La parole naturelle, avec son vocabulaire énorme et son flux continu, était un problème tout à fait différent.

Une décennie plus tard, IBM dévoilait Shoebox à l'Exposition universelle de Seattle en 1962. Il reconnaissait 16 mots : les dix chiffres plus six commandes arithmétiques comme « plus » et « total ». La machine pouvait accepter un problème arithmétique parlé et confier le calcul à une machine à additionner. Toujours de la correspondance de modèles, toujours douloureusement limité.

Les années 1970 : DARPA, la recherche en faisceau et le mur des 1 000 mots

Les années 1970 ont apporté l'argent public et un objectif plus ambitieux. Le programme Speech Understanding Research (SUR) de la DARPA, actif de 1971 à 1976, a financé un petit nombre de groupes de recherche pour poursuivre un but concret : un système capable de comprendre la parole continue sur un vocabulaire d'au moins 1 000 mots.

Le système Harpy de Carnegie Mellon, achevé en 1976, a atteint cet objectif. Harpy connaissait 1 011 mots et introduisait la recherche en faisceau, une stratégie de décodage qui élimine progressivement l'espace des séquences de mots candidates pendant le traitement audio, plutôt que d'évaluer exhaustivement chaque possibilité. La recherche en faisceau est encore utilisée dans les décodeurs modernes.

Hearsay, un autre système de CMU de la même période, adoptait une approche différente : des « sources de connaissances » en couches qui faisaient remonter des hypothèses de l'acoustique aux phonèmes, puis aux mots, puis à la syntaxe. C'était architecturalement intéressant mais fragile, et il a perdu face à Harpy sur le benchmark. La leçon, que le domaine n'a cessé de réapprendre, c'est qu'une structure élégante compte moins que de trouver quelque chose qui réduit fiablement les erreurs.

Les années 1980 : les modèles de Markov cachés changent tout

La véritable fondation statistique de la reconnaissance vocale moderne vient des modèles de Markov cachés (HMM). Lenny Baum a développé les mathématiques sous-jacentes à Princeton au début des années 1970. James et Janet Baker ont appliqué les HMM à la parole à Carnegie Mellon pour leur thèse de doctorat en 1974, construisant le système Dragon qui deviendrait finalement un produit commercial.

Les HMM ont marqué un passage conceptuel de l'appariement de motifs à la modélisation probabiliste. Plutôt que de stocker une empreinte fixe pour chaque mot et de mesurer la distance par rapport à celle-ci, un HMM modélise la parole comme une séquence d'états cachés (les phonèmes produits) avec des sorties observables (les caractéristiques acoustiques mesurées sur le signal). Face à des caractéristiques observées, on se demande : quelle séquence d'états cachés a le plus probablement généré cela ?

Cela compte pour plusieurs raisons. D'abord, le même mot sonne légèrement différemment à chaque fois que vous le prononcez. Les HMM gèrent cette variation de manière probabiliste, sans exiger un accord rigide avec un modèle. Ensuite, les HMM se composent : on peut enchaîner des modèles au niveau du phonème pour former des modèles au niveau du mot, puis des modèles au niveau de la phrase. Enfin, les HMM s'entraînent à partir de données plutôt que d'être conçus à la main, ce qui signifie que plus de données produisaient de meilleurs modèles.

À la fin des années 1980, les HMM ont été associés aux modèles de mélanges gaussiens (GMM) pour produire le modèle acoustique dans ce qui est devenu l'architecture standard : un système GMM-HMM avec un modèle de langage n-gramme séparé qui réévaluait les transcriptions candidates selon la probabilité de la séquence de mots dans le texte général.

Les années 1990 : l'arrivée de la dictée commerciale

Le cadre GMM-HMM était suffisamment solide pour bâtir des produits commerciaux. Dragon Dictate est lancé en 1990 à 9 000 $ avec un dictionnaire de 80 000 mots. C'était de la parole discontinue : il fallait marquer une pause entre chaque mot. L'IBM ViaVoice (1996) a amélioré l'ergonomie avec des modèles indépendants du locuteur.

Puis en 1997, Dragon NaturallySpeaking est sorti à 150 $ et prenait en charge la parole continue, reconnaissant environ 100 mots par minute sans pauses imposées. C'était le premier système que la plupart des gens pouvaient réellement utiliser. Il exigeait encore une session d'adaptation à votre voix, et il peinait toujours avec les accents, le bruit de fond et le vocabulaire spécialisé. Mais il a prouvé que la dictée sur ordinateur de bureau était viable.

Mon avis : les systèmes des années 1990 étaient impressionnants vu les contraintes de l'époque, mais ils restaient fragiles, d'une manière qui les rendait épuisants à utiliser. Si vous vous éloigniez d'un environnement calme ou prononciez quelque chose en dehors des schémas attendus, la précision s'effondrait. La mécanique statistique était juste ; les données et la puissance de calcul ne suffisaient pas encore.

Les années 2000 : l'échelle, les réseaux neuronaux et le pari de Google

Google Voice Search, lancé en 2008, a appliqué une idée clé : de grands ensembles de données et le calcul distribué pouvaient produire des modèles capables de gérer les accents et le bruit de manière robuste, bien au-delà de ce qu'un réglage manuel sur un petit volume de données pouvait espérer. Les modèles sous-jacents reposaient encore en grande partie sur GMM-HMM, mais les données d'entraînement étaient des ordres de grandeur plus vastes que celles utilisées par les chercheurs académiques.

Pendant ce temps, Geoffrey Hinton et ses collaborateurs démontraient que les réseaux de neurones profonds pouvaient surpasser les GMM en modélisation acoustique. L'article marquant de 2012, « Deep Neural Networks for Acoustic Modeling in Speech Recognition », co-écrit par Hinton, Li Deng, Dong Yu, George Dahl et d'autres issus de Microsoft, IBM, Google et Toronto, montrait que remplacer le GMM par un réseau de neurones profond dans un pipeline HMM par ailleurs standard produisait de nettes améliorations de précision sur plusieurs références. L'hybride DNN-HMM a réduit les taux d'erreur de façon spectaculaire sur des systèmes qui n'avaient guère progressé depuis des années.

Ce n'était pas un petit pas incrémental. Le domaine a basculé presque immédiatement. En quelques années, tous les grands systèmes commerciaux de reconnaissance vocale avaient remplacé les modèles acoustiques GMM par des DNN.

L'ère 2014-2017 : l'apprentissage de bout en bout

L'hybride DNN-HMM était meilleur, mais il restait un système à trois composants : modèle acoustique, dictionnaire de prononciation, modèle de langage. Chaque pièce était entraînée séparément et devait s'emboîter au moment de l'inférence. Les chercheurs ont commencé à se demander s'il était possible d'entraîner un modèle unique qui mappe directement l'audio vers le texte.

Deux approches ont émergé presque simultanément.

Connectionist Temporal Classification (CTC), introduite par Alex Graves en 2006, mais qui a gagné du terrain en reconnaissance vocale automatique vers 2014, a offert un moyen d'entraîner des modèles séquence à séquence sans exiger de paires d'entrée-sortie alignées. Deep Speech de Baidu a utilisé un RNN bidirectionnel avec une perte CTC pour battre le benchmark Switchboard Hub5'00 en 2014, sans recourir aux dictionnaires phonétiques traditionnels ni aux caractéristiques conçues à la main.

Les modèles encodeur-décodeur basés sur l'attention s'inspirent de la traduction automatique. Les travaux de Chorowski, Bahdanau et leurs collègues en 2015 ont montré que l'attention douce sur la séquence acoustique pouvait remplacer l'alignement explicite imposé par les HMM. Le modèle apprenait à s'aligner tout seul.

Ces deux approches étaient « de bout en bout » dans le sens où un unique réseau de neurones apprenait tout à partir des données, les motifs acoustiques et les motifs linguistiques ensemble, sans nécessiter de composants séparés ni de dictionnaires de prononciation.

2017 et le Transformer

L'article de 2017 « Attention Is All You Need » de Vaswani et ses collègues chez Google a introduit l'architecture Transformer pour la modélisation de séquences. Elle a remplacé les réseaux de neurones récurrents qui dominaient le traitement du langage naturel et la reconnaissance vocale par des couches d'auto-attention capables de modéliser les relations entre deux positions quelconques d'une séquence, sans le goulot d'étranglement séquentiel des RNN.

Les Transformers pouvaient traiter la séquence d'entrée complète en parallèle, modéliser efficacement les dépendances à longue portée et passer à l'échelle avec plus de données et de calcul, d'une manière que les RNN peinaient à égaler. Vers 2019 et 2020, les systèmes de reconnaissance vocale basés sur les Transformers atteignaient des résultats de pointe sur les benchmarks standards.

Le wav2vec 2.0 de Facebook AI (2020) a démontré que les transformers pouvaient aussi être pré-entraînés sur de l'audio non labellisé de manière auto-supervisée, puis affinés sur de petites quantités de données transcrites. Un entraînement sur 53 000 heures d'audio non labellisé, suivi d'un affinage sur seulement dix minutes de données labellisées, a produit des taux d'erreur de mots qui, avec les approches précédentes, exigeaient des milliers d'heures labellisées. C'était une avancée majeure pour les langues peu dotées en ressources, qui disposent de peu de données transcrites, un problème que nous abordons en détail dans notre article sur pourquoi l'IA peine avec les langues peu dotées.

De 2022 à aujourd'hui : Whisper et le retour sur investissement de l'échelle

OpenAI a publié Whisper en 2022. Le modèle est un transformer encodeur-décodeur standard, mais ses données d'entraînement étaient d'une ampleur et d'une diversité sans précédent : 680 000 heures d'audio associées à des transcriptions, dont 563 000 heures en anglais et 117 000 heures couvrant 96 autres langues, collectées sur le web.

L'audio est converti en un spectrogramme log-mel à 80 canaux, calculé sur des fenêtres de 25 millisecondes à 16 000 Hz, avant d'entrer dans l'encodeur. Le décodeur génère les jetons de texte de manière autorégressive. Rien dans l'architecture n'est exotique ; c'est l'échelle des données d'entraînement qui a fait la différence.

Whisper Large-v3 atteint environ 3 pour cent de taux d'erreur de mots sur les références de parole lue et propre. La précision dans le monde réel varie considérablement selon la qualité audio : sur des enregistrements propres, elle peut descendre sous les 5 pour cent de WER, tandis que l'audio bruité ou conversationnel avec plusieurs locuteurs peut faire grimper les taux d'erreur dans une fourchette de 15 à 30 pour cent. À titre de comparaison, les transcripteurs humains atteignent généralement 2 à 4 pour cent de WER dans de bonnes conditions, et 10 à 15 pour cent dans des environnements bruyants.

Pour une explication de base de ce que signifie le WER et pourquoi il peut vous induire en erreur, consultez notre article sur la précision de la transcription expliquée.

Pourquoi il a fallu 70 ans

Trois contraintes freinaient le domaine, et chacune devait être résolue, grosso modo, dans l'ordre.

Données. Whisper a été entraîné sur 680 000 heures. Dragon NaturallySpeaking en 1997 en utilisait bien moins, et les modèles qu'il pouvait apprendre étaient d'autant plus superficiels. Collecter et étiqueter de l'audio à grande échelle coûtait cher ; le web a fini par le fournir gratuitement.

Calcul. Entraîner un transformer sur 680 000 heures exige des clusters de GPU. La percée DNN-HMM de 2012 a coïncidé avec l'ère où le calcul GPU devenait assez accessible pour faire tourner des réseaux profonds sur des budgets de recherche. Avant, le calcul n'existait tout simplement pas.

Algorithmes. Les HMM étaient le cadre adapté aux données et au calcul disponibles dans les années 1980. Les réseaux profonds étaient théoriquement séduisants plus tôt, mais pratiquement impossibles à entraîner sur le matériel et les tailles de jeux de données de l'époque. Les transformers ont résolu les problèmes de parallélisme et de dépendances à longue portée qui rendaient les RNN difficiles à entraîner à grande échelle.

La leçon : chaque génération de chercheurs travaillait près de la frontière de ce que ses contraintes permettaient. L'équipe d'Audrey en 1952 a accompli quelque chose de réellement difficile avec la correspondance de motifs et des circuits analogiques. Les travaux sur les HMM des années 1980 étaient statistiquement rigoureux et durables. Le virage vers l'apprentissage profond en 2012 a été rapide précisément parce que les idées avaient mûri et que le calcul avait rattrapé son retard. Comprendre cette progression rend l'ère actuelle des transformers moins magique et plus comme la prochaine itération du même schéma.

Si vous voulez voir la reconnaissance de bout en bout moderne en pratique, l'outil audio-texte de ConvertAudioToText fait passer les fichiers dans le pipeline actuel, et le résultat que vous obtenez est le produit de tout ce qui est décrit ci-dessus.

FAQ

Quel a été le premier système de reconnaissance vocale ?

Bell Labs a construit Audrey en 1952. Elle pouvait reconnaître les chiffres de zéro à neuf, mais uniquement auprès d'un seul locuteur dans des conditions contrôlées. Elle occupait un bâti de relais de six pieds et fonctionnait en faisant correspondre les fréquences de formants de chaque chiffre à des modèles stockés.

Que sont les modèles de Markov cachés et pourquoi ont-ils compté pour la reconnaissance vocale ?

Les modèles de Markov cachés (HMM) modélisent la parole comme une séquence d'états cachés (les phonèmes) qui produisent des sorties observables (les caractéristiques acoustiques). Plutôt que de faire correspondre l'audio à un modèle fixe, les HMM calculent la séquence de phonèmes la plus probable qui aurait pu générer l'audio observé. Ce cadre probabiliste gérait la variation naturelle de la prononciation et s'adaptait à de grands vocabulaires d'une manière que les approches par correspondance de modèles ne pouvaient pas.

Qu'est-ce qui a changé en 2012 pour améliorer autant la reconnaissance vocale ?

La percée de 2012 a consisté à remplacer le composant acoustique du modèle de mélange gaussien (GMM) dans le pipeline standard GMM-HMM par un réseau de neurones profond. Un article de Hinton, Deng, Yu, Dahl et leurs collaborateurs de Microsoft, Google, IBM et de l'Université de Toronto a démontré que les systèmes hybrides DNN-HMM surpassaient nettement les références GMM-HMM sur plusieurs bancs d'essai, ce qui a déclenché une adoption rapide dans toute l'industrie.

Que signifie « de bout en bout » en reconnaissance vocale ?

Un système de bout en bout est un réseau de neurones unique entraîné pour mapper directement l'audio en texte, sans modèles acoustiques séparés, dictionnaires de prononciation ou modèles de langage à entraîner et combiner individuellement. Deep Speech de Baidu (2014) a été un exemple précoce très médiatisé utilisant la perte CTC. Whisper est un exemple plus récent utilisant une architecture de transformateur encodeur-décodeur. Les principaux avantages sont des pipelines d'entraînement plus simples et la possibilité d'optimiser conjointement tout vers le transcript final.

Quelle est la précision de la reconnaissance vocale moderne ?

Sur un fichier audio propre, bien enregistré et avec un seul locuteur, les modèles les plus avancés atteignent moins de 5 pour cent de taux d'erreur sur les mots (WER). Sur un audio bruité, conversationnel ou avec plusieurs locuteurs, le WER se situe généralement entre 15 et 30 pour cent. Les transcripteurs humains obtiennent environ 2 à 4 pour cent de WER dans de bonnes conditions, et dégradent jusqu'à 10 à 15 pour cent sur un audio difficile. La précision dépend avant tout de la qualité audio : le bruit de fond, les locuteurs qui se chevauchent et un faible débit binaire d'enregistrement sont les principaux facteurs qui font grimper les taux d'erreur, même avec les meilleurs modèles.

Sources

• Annonce et détails techniques d'OpenAI Whisper : https://openai.com/index/whisper/
• Article technique sur Whisper via le résumé d'OpenWhispr : https://openwhispr.com/blog/how-whisper-ai-works
• Historique des étapes clés de la reconnaissance vocale (Milvus) : https://milvus.io/ai-quick-reference/what-is-the-history-of-speech-recognition-technology
• Historique de la reconnaissance automatique de la parole (Descript/Medium) : https://medium.com/descript/a-brief-history-of-asr-automatic-speech-recognition-b8f338d4c0e5
• Audrey et les premiers systèmes, Computer History Museum : https://computerhistory.org/blog/audrey-alexa-hal-and-more/
• Page Wikipédia de Janet M. Baker (origines HMM/Dragon) : https://en.wikipedia.org/wiki/Janet_M._Baker
• Page Wikipédia de James K. Baker : https://en.wikipedia.org/wiki/James_K._Baker
• Article de 2012 sur DNN-HMM (Hinton et al.), IEEE Signal Processing Magazine : https://www.cs.toronto.edu/~gdahl/papers/deepSpeechReviewSPM2012.pdf
• CTC, Wikipédia : https://en.wikipedia.org/wiki/Connectionist_temporal_classification
• Article sur wav2vec 2.0 (arXiv) : https://arxiv.org/pdf/2006.11477
• « Attention Is All You Need » (arXiv) : https://arxiv.org/abs/1706.03762
• Repères WER et discussion sur la précision (AssemblyAI) : https://www.assemblyai.com/blog/word-error-rate-is-broken
• Programme DARPA SUR et Harpy (document historique de CMU) : https://rr.cs.cmu.edu/SUR.pdf
• Taux d'échantillonnage et théorème de Nyquist pour la reconnaissance vocale (Picovoice) : https://picovoice.ai/blog/audio-sampling-and-sample-rate/