Comment fonctionne la reconnaissance vocale par IA : le pipeline neuronal (2026)

Le pipeline en un coup d'œil

La reconnaissance vocale par IA moderne est un réseau de neurones encodeur-décodeur qui lit un spectrogramme log-mel de votre audio et produit des tokens de texte, le tout en une seule passe, sans modèle acoustique ni dictionnaire de prononciation distincts entre les deux. Le modèle apprend conjointement la correspondance entre le son et les mots, c'est pourquoi la précision s'est améliorée aussi nettement au cours des cinq dernières années. Si vous voulez l'histoire de l'ancien pipeline hybride (HMM, MFCC, modèles acoustique et linguistique séparés), consultez le fonctionnement de la reconnaissance vocale. Si vous voulez le point de vue produit (ce qui se passe entre le dépôt de votre fichier et la transcription que vous téléchargez), consultez le fonctionnement de la transcription par IA. Cet article porte sur l'architecture neuronale moderne elle-même.

De l'onde sonore à l'entrée du modèle

Avant qu'un réseau de neurones ne voie votre audio, l'onde sonore brute doit être convertie dans un format que le modèle peut traiter.

Le format d'entrée standard est un spectrogramme log-mel. L'audio est divisé en trames de 25 ms se chevauchant, échantillonnées toutes les 10 ms. Chaque trame passe par une transformée de Fourier à court terme (STFT) pour produire un spectre de fréquences, qui est ensuite filtré par une banque de filtres triangulaires espacés selon l'échelle mel (une échelle de fréquence perceptive correspondant au fonctionnement de l'ouïe humaine). Une compression logarithmique est appliquée aux sorties des filtres, ce qui reproduit approximativement la sensibilité logarithmique de l'oreille à l'intensité sonore. Le résultat est une grille 2D : le temps sur un axe, la fréquence mel sur l'autre, l'intensité indiquant la quantité d'énergie présente dans chaque bande de fréquence à chaque instant.

Whisper large-v3 utilise 128 bandes de fréquence mel (les versions antérieures de Whisper et la plupart des autres modèles en utilisent 80). C'est cette grille 2D que lit l'encodeur.

L'encodeur : extraire le sens des patchs du spectrogramme

Le rôle de l'encodeur est de transformer le spectrogramme en une représentation interne riche de ce qui est dit.

Les encodeurs transformer traitent le spectrogramme en patchs chevauchants grâce à une auto-attention multi-têtes. Chaque tête d'attention compare chaque position du spectrogramme à toutes les autres afin d'identifier quelles parties du contexte audio sont pertinentes entre elles. Des couches convolutives en amont (ou des sous-blocs convolutifs, comme dans l'architecture Conformer) capturent les motifs locaux, tandis que les couches transformer capturent les dépendances à longue portée. C'est ce qui permet au modèle de savoir que le « right » d'une phrase sur le fait de tourner au coin d'une rue n'a pas le même son que celui d'une phrase sur le fait d'avoir raison, avant même que le décodeur ne se soit engagé dans l'une ou l'autre lecture.

Le Conformer (publié par Google à INTERSPEECH 2020) ajoute un module de convolution à l'intérieur de chaque bloc transformer, mêlant traitement local et global d'une façon qui fonctionne particulièrement bien pour la parole, car les caractéristiques acoustiques présentent une forte corrélation locale.

Le décodeur : générer le texte, token par token

Le décodeur est l'endroit où le modèle produit réellement le texte.

Whisper utilise un décodeur seq2seq autorégressif avec cross-attention. Le décodeur génère les tokens de texte un par un. À chaque étape, il utilise l'auto-attention sur les tokens qu'il a déjà produits (pour maintenir un langage cohérent) et la cross-attention sur la sortie de l'encodeur (pour rester ancré dans les indices audio). Les poids de cross-attention déterminent quelles parties du spectrogramme le modèle « écoute » pendant qu'il écrit chaque token.

Les tokens sont des unités de sous-mots (vocabulaire BPE), pas des phonèmes. Le modèle ne produit jamais de couche phonémique explicite ; il mappe directement l'audio vers des tokens word-piece en un unique processus appris. Si vous avez entendu dire que l'ASR moderne utilise encore des modèles acoustiques au niveau des phonèmes et un modèle linguistique statistique séparé, cette description correspond au classique pipeline hybride, que les modèles basés sur CTC ont partiellement remplacé et que les modèles seq2seq ont presque entièrement remplacé.

CTC, Seq2Seq et transducteurs : trois stratégies pour un même problème

Tous les systèmes ASR neuronaux n'utilisent pas le même mécanisme de sortie. Comprendre les trois grandes approches est le cœur de cette thématique.

CTC (Connectionist Temporal Classification) a été proposé en 2006 et reste largement utilisé (wav2vec 2.0 de Facebook AI en est l'exemple moderne le plus emblématique). Le modèle produit une distribution de probabilité sur les tokens à chaque trame audio. CTC compacte ensuite la séquence au niveau des trames en fusionnant les tokens répétés et en supprimant les tokens vides pour produire la transcription finale. La propriété clé est que CTC suppose l'indépendance conditionnelle entre les tokens de sortie : la prédiction de chaque trame est faite sans accès aux tokens précédemment prédits. Cela rend CTC rapide et facile à entraîner, mais l'hypothèse d'absence de modèle linguistique dans la boucle signifie qu'il peut être lexicalement incohérent sur les mots rares.

L'attention seq2seq (encodeur-décodeur) est ce que Whisper utilise. Le décodeur autorégressif a un comportement entièrement comparable à celui d'un modèle linguistique : chaque token est conditionné sur tout ce qui précède. Cela produit un texte plus naturel et cohérent, en particulier sur les mots hors vocabulaire ou spécifiques à un domaine. La contrepartie est que le décodage est séquentiel et plus lent, et que le modèle doit traiter l'intégralité de l'audio avant de générer (traitement par lots plutôt que streaming).

RNN-T (Recurrent Neural Network Transducer) combine les forces des deux. Son encodeur acoustique et son réseau de prédiction (un petit modèle linguistique autorégressif sur les tokens précédemment prédits) sont fusionnés via un réseau joint. L'avantage clé est le streaming : RNN-T peut émettre des tokens au fur et à mesure que l'audio arrive, sans attendre la fin de l'énoncé. C'est pourquoi les modèles à base de transducteur dominent les applications de streaming en production, les assistants vocaux et les systèmes de sous-titrage en temps réel. Il trouve son origine dans les travaux d'Alex Graves et est devenu l'épine dorsale de l'ASR embarqué dans des produits comme l'enregistreur Pixel de Google.

L'entraînement hybride CTC + attention est de plus en plus courant : la perte CTC encourage un alignement monotone pendant l'entraînement, aidant le décodeur attentionnel à converger plus rapidement, tandis que le décodeur attentionnel gère la sortie finale.

Ce que les données d'entraînement façonnent réellement

Le volume et la diversité des données d'entraînement déterminent la généralisation davantage que l'architecture seule.

Le Whisper original (2022) a été entraîné sur 680 000 heures d'audio multilingue faiblement supervisé, couvrant 96 langues et incluant 125 000 heures de données de traduction. Whisper large-v3 (sorti fin 2023) a été entraîné sur 1 million d'heures d'audio faiblement étiqueté plus 4 millions d'heures d'audio pseudo-étiqueté générées avec Whisper large-v2, soit environ 5 millions d'heures au total, avec 1,55 milliard de paramètres et la prise en charge de 99 langues.

« Faiblement supervisé » signifie que les étiquettes d'entraînement provenaient de sources Internet existantes (sous-titres, transcriptions) plutôt que d'enregistrements studio méticuleusement annotés. La diversité des conditions que cela introduit explique en partie pourquoi le modèle gère mieux l'audio réel que nombre de concurrents entraînés sur des corpus plus petits mais plus propres.

Certains modèles sont entraînés conjointement sur la transcription, la traduction, l'identification de la langue et la prédiction des horodatages. Dans le cas de Whisper, le conditionnement par tâche est géré entièrement via des tokens spéciaux du décodeur ajoutés en préfixe à la séquence de sortie : les mêmes poids transformer apprennent les quatre tâches simultanément. Cet entraînement multi-tâches semble produire des représentations audio plus riches que l'entraînement mono-tâche.

La diarisation des locuteurs : un système parallèle

La diarisation, c'est-à-dire déterminer qui a dit quoi, n'est pas intégrée au modèle ASR principal. Elle s'exécute comme un pipeline séparé parallèlement à la transcription.

La diarisation neuronale moderne extrait des embeddings de locuteurs, puis les regroupe en clusters. L'audio est découpé en segments chevauchants. Un encodeur neuronal (généralement une architecture TDNN ou ResNet) convertit chaque segment en un vecteur de grande dimension qui capture les caractéristiques vocales du locuteur : motifs de hauteur tonale, fréquences des formants, forme du conduit vocal. Ces embeddings sont regroupés hiérarchiquement. Les segments aux embeddings similaires reçoivent la même étiquette de locuteur.

Le défi principal est que le nombre de locuteurs est inconnu. Les systèmes modernes utilisent des seuils de similarité appris pour décider où couper le dendrogramme. La parole chevauchante (deux personnes parlant en même temps) reste un problème de recherche actif : la plupart des systèmes en production gèrent la parole simultanée en attribuant un seul locuteur par trame, ce qui signifie que la voix la plus faible dans un chevauchement est généralement perdue.

Des outils comme la transcription de réunions et la transcription d'entretiens appliquent la diarisation comme étape de post-traitement une fois l'ASR principal terminé.

Précision : ce que les chiffres veulent vraiment dire

Les chiffres de précision mis en avant dans les supports marketing reflètent presque toujours de la parole lue propre, pas de l'audio réel.

Whisper large-v3 atteint un WER de 2,7 % sur LibriSpeech test-clean, qui est de l'audio de livre audio lu avec une qualité de niveau studio. Sur le Hugging Face Open ASR Leaderboard (instantané de mi-2026), Whisper large-v3 affiche un WER moyen de 7,44 % sur divers jeux de tests réels. Les modèles les mieux classés comme Transcribe de Cohere (WER moyen de 5,42 %) et ElevenLabs Scribe v2 (5,83 %) repoussent l'état de l'art, mais ces chiffres évoluent à mesure que de nouveaux modèles entrent dans le classement.

Pour du contenu concret, le WER réel dans les réunions, podcasts et appels téléphoniques se situe généralement entre 8 % et 15 % selon le niveau de bruit, le nombre de locuteurs et la diversité des accents. L'écart entre le WER de référence et le WER pratique est la principale raison pour laquelle vous devriez tester tout système ASR sur votre propre audio avant de vous engager.

Mon avis : le WER sur LibriSpeech vous renseigne sur le plafond du modèle. Le WER sur votre contenu réel est le seul chiffre qui compte pour votre cas d'usage.

Pourquoi les modèles de bout en bout surpassent l'ancien pipeline hybride

Le pipeline classique comprenait un extracteur de caractéristiques, un modèle acoustique à base de HMM qui mappait les caractéristiques vers des phonèmes, un lexique de prononciation et un modèle linguistique n-gram entraîné séparément. Chaque étape était optimisée indépendamment, si bien que les erreurs d'une étape étaient invisibles pour les autres.

Les modèles de bout en bout optimisent conjointement toute la correspondance de l'audio vers le texte. Si un mot est acoustiquement ambigu, le décodeur neuronal peut immédiatement utiliser le contexte de la phrase pour le résoudre, car les preuves acoustiques et le modèle linguistique constituent le même ensemble de poids. Il n'y a pas de couture entre « quel phonème est-ce ? » et « quel mot cette séquence de phonèmes épelle-t-elle ? ». C'est la raison architecturale pour laquelle la précision sur l'audio difficile s'est autant améliorée entre 2019 et 2023.

Cette transition s'est faite en deux vagues. Les modèles basés sur CTC comme DeepSpeech (2014) ont été les premiers systèmes ASR de bout en bout pratiques. Les modèles seq2seq à base de transformer à partir d'environ 2020 ont poussé cela plus loin en supprimant l'hypothèse d'indépendance conditionnelle qui rendait faible l'intégration du modèle linguistique dans CTC.

Si vous voulez un aperçu détaillé de ce qui se passe après la production de la sortie ASR (restauration de la ponctuation, fusion de la diarisation, formatage des paragraphes, export), consultez le fonctionnement de la transcription par IA. Si vous voulez l'histoire pré-neuronale commençant avec les HMM et les MFCC, le fonctionnement de la reconnaissance vocale couvre tout l'arc narratif.

Ce qui limite encore l'ASR moderne

Les améliorations d'architecture ont un plafond. Certaines limites viennent de la physique et des données, pas de la conception du modèle.

La parole chevauchante est véritablement difficile : deux voix occupent les mêmes cases temps-fréquence, et les séparer nécessite des modèles de séparation de sources (comme Conv-TasNet) exécutés avant le modèle ASR, ce qui ajoute latence et complexité.

Les langues à faibles ressources restent mal desservies. Une langue ne disposant que de quelques centaines d'heures de données d'entraînement étiquetées produira un modèle dont le WER sera un ordre de grandeur supérieur à celui d'une langue à ressources abondantes, quelle que soit la sophistication de l'architecture. C'est une des raisons pour lesquelles l'IA peine avec les langues à faibles ressources.

La musique de fond est catégoriquement différente du bruit de fond. Un bruit constant peut être filtré par détection d'activité vocale. La musique occupe des plages de fréquences qui chevauchent celles de la parole, si bien que le modèle hallucine souvent des paroles ou des mots quand de la musique est présente. C'est un mode de défaillance connu de Whisper en particulier.

Les modèles propriétaires comme Deepgram Nova optimisent différents compromis (latence, streaming, adaptation au domaine) en utilisant des architectures que leurs équipes n'ont pas publiées en détail. Pour un décryptage de ce que Nova-3 fait différemment, consultez Deepgram Nova-3 expliqué.

Pour un travail qui exige des transcriptions propres rapidement sans faire tourner votre propre infrastructure ASR, ConvertAudioToText prend en charge tout le pipeline pour vous, y compris la diarisation et l'export en SRT, VTT et texte brut.

Questions fréquentes

Quelle est la différence entre CTC et seq2seq en reconnaissance vocale ?

CTC prédit un token à chaque trame audio de manière indépendante, puis compacte la séquence. Il est rapide et compatible avec le streaming, mais ne prend aucune décision de niveau modèle linguistique pendant le décodage. Seq2seq (comme Whisper) utilise un décodeur autorégressif avec cross-attention vers l'encodeur : il génère chaque token conditionné sur tous les tokens précédents et toutes les preuves audio ensemble. Cela produit un texte plus cohérent, en particulier sur le vocabulaire spécifique à un domaine, mais nécessite de traiter l'intégralité de l'audio avant de générer la sortie.

Pourquoi les modèles ASR modernes n'utilisent-ils pas les phonèmes comme étape intermédiaire ?

Les anciens systèmes hybrides utilisaient les phonèmes parce que le modèle acoustique et le modèle linguistique étaient entraînés séparément : le modèle acoustique avait besoin d'un espace de sortie fixe (les phonèmes) que le modèle linguistique pouvait consommer. Les modèles de bout en bout apprennent toute la correspondance audio-vers-texte en une seule passe, ils produisent donc directement des tokens de sous-mots (unités BPE). Le modèle apprend implicitement les représentations intermédiaires qui lui sont utiles, qui ne sont pas nécessairement des phonèmes.

Comment l'entraînement multi-tâches améliore-t-il la reconnaissance vocale ?

Entraîner un modèle simultanément sur la transcription, la traduction, l'identification de la langue et la prédiction des horodatages le force à construire des représentations audio qui généralisent d'une tâche à l'autre. Whisper, par exemple, conditionne les quatre tâches via des tokens de préfixe spéciaux ajoutés devant le décodeur : les mêmes poids d'encodeur doivent capturer suffisamment de détails acoustiques pour prendre en charge chacune d'elles. Le résultat est un modèle plus robuste face aux accents et aux langues qu'un modèle entraîné uniquement sur la transcription avec les mêmes données.

Quelle est la précision de la reconnaissance vocale par IA sur de l'audio réel en 2026 ?

Sur de la parole lue (LibriSpeech test-clean), les meilleurs modèles atteignent environ 2 à 3 % de WER. Sur de l'audio réel, y compris réunions, podcasts et appels téléphoniques, le WER se situe généralement entre 8 et 15 % selon le bruit, les locuteurs qui se chevauchent et la diversité des accents. Les leaders du classement de mi-2026 comme Transcribe de Cohere rapportent un WER moyen de 5,42 % sur des jeux de tests mixtes, mais ces chiffres reflètent la composition du classement et évoluent à mesure que de nouveaux modèles sont évalués.

Qu'est-ce qui distingue l'architecture Conformer d'un transformer standard pour l'ASR ?

Un transformer standard utilise l'auto-attention sur toutes les positions pour capturer le contexte global. Le Conformer, publié par Google à INTERSPEECH 2020, ajoute un module de convolution à l'intérieur de chaque bloc transformer, entre deux modules feed-forward. Cela permet à chaque bloc de capturer à la fois les motifs acoustiques locaux (via la convolution) et les dépendances à longue portée (via l'attention) simultanément. Comme la parole possède une forte structure locale (les caractéristiques acoustiques sont fortement corrélées avec les trames voisines), cette combinaison surpasse un transformer pur pour l'ASR sur la plupart des benchmarks.

Sources

• GitHub OpenAI Whisper (fiche modèle, architecture, données d'entraînement) : https://github.com/openai/whisper
• Hugging Face : fiche modèle openai/whisper-large-v3 : https://huggingface.co/openai/whisper-large-v3
• Google Research : Conformer (INTERSPEECH 2020) : https://research.google/pubs/conformer-convolution-augmented-transformer-for-speech-recognition/
• Cours Audio Hugging Face, architectures Seq2Seq : https://huggingface.co/learn/audio-course/chapter3/seq2seq
• Documentation Hugging Face Transformers : wav2vec2 : https://huggingface.co/docs/transformers/en/model_doc/wav2vec2
• pyannote.ai : Qu'est-ce que la diarisation des locuteurs : https://www.pyannote.ai/blog/what-is-speaker-diarization
• Hugging Face Open ASR Leaderboard (instantané de mi-2026) : https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
• AssemblyAI : Le taux d'erreur par mot est cassé (2026) : https://www.assemblyai.com/blog/word-error-rate-is-broken