Réseaux de neurones et transcription : comment les modèles apprennent à écouter

La précision moderne de la transcription repose sur les réseaux de neurones. Les progrès réalisés entre 2015 et aujourd'hui proviennent presque entièrement de meilleures architectures et de jeux d'entraînement plus vastes, pas de règles artisanales astucieuses superposées par-dessus. Cet article relie les concepts fondamentaux des réseaux de neurones à ce qui se passe réellement à l'intérieur d'un modèle de transcription.

Ce qu'est un réseau de neurones, au niveau utile minimal

Un réseau de neurones est une pile de fonctions mathématiques dotée de nombreux paramètres ajustables. On l'entraîne en lui montrant des millions de paires entrée-sortie, en ajustant les paramètres chaque fois que le réseau produit une mauvaise sortie. Après un entraînement suffisant, le réseau généralise : il produit des sorties correctes pour des entrées qu'il n'a jamais vues.

Pour la reconnaissance vocale, les entrées sont des représentations audio et les sorties sont des jetons de texte. Voilà tout le cadre. Les questions intéressantes concernent la forme de l'entrée, ce que les différentes couches apprennent réellement, et pourquoi les données d'entraînement déterminent le plafond de précision.

Ce que le réseau voit comme entrée

Les réseaux modernes de reconnaissance vocale ne travaillent pas sur des échantillons audio bruts. Ils travaillent sur des spectrogrammes : des images 2D qui montrent comment l'énergie fréquentielle se répartit dans le temps.

Whisper Large-v3 prend en entrée un spectrogramme log-mel à 128 canaux de fréquences, avec une trame toutes les 10 millisecondes. Il s'agit d'une augmentation délibérée par rapport aux 80 canaux utilisés dans les versions antérieures de Whisper. Cette amélioration offre au modèle une résolution fréquentielle plus fine, particulièrement utile pour les langues tonales et les voyelles proches.

Notre article sur le fonctionnement de la reconnaissance vocale détaille davantage la conversion en spectrogramme. Pour cet article, retenez que le réseau voit quelque chose comme une photographie de l'audio, pas l'audio lui-même.

Couche par couche : ce que le modèle apprend

Les réseaux de neurones profonds développent des représentations internes qui deviennent progressivement plus abstraites à mesure qu'on passe de la première couche à la dernière. Pour la reconnaissance vocale, ce schéma suit une hiérarchie approximative en trois étapes.

Premières couches : caractéristiques acoustiques

Les premières couches détectent des motifs acoustiques de bas niveau. Une consonne voisée a une signature spectrale différente d'une consonne sourde ; une voyelle se distingue d'une fricative. Ces distinctions correspondent grosso modo à celles qu'un phonéticien tracerait, alors que le modèle n'a jamais été explicitement invité à les rechercher.

Des recherches reliant les représentations internes de Whisper à des données neuronales humaines montrent que les premières couches corrèlent le plus fortement avec le traitement acoustique lié aux attaques sonores (onsets), ce qui concorde avec ce que nous savons des premiers stades du cortex auditif.

Couches intermédiaires : motifs phonétiques et syllabiques

Les couches intermédiaires combinent les caractéristiques de bas niveau en unités de niveau supérieur : phonèmes, syllabes, courts fragments de mots. À ce stade, le réseau a compressé le signal acoustique brut en une représentation qui capture le contenu linguistique tout en écartant les détails propres au locuteur comme la hauteur de voix ou la taille du conduit vocal.

C'est aussi là que le modèle apprend à être invariant face à ce qui ne devrait pas affecter la transcription : qualité d'enregistrement, variations d'accent, bruit de fond (dans certaines limites). Le modèle n'apprend rien de tout cela explicitement ; le signal d'entraînement se résume à « produire le bon texte », et le modèle découvre donc les invariances qui l'y aident. Notre article sur les modèles acoustiques face aux modèles de langage retrace la répartition historique de ces tâches entre systèmes distincts.

Dernières couches : contexte linguistique

Les dernières couches de l'encodeur et les couches du décodeur sont le lieu où s'opère la modélisation du langage. Le modèle apprend que certaines séquences de mots sont plus probables que d'autres, que les constructions grammaticales sont courantes et les constructions agrammaticales rares, et que certains mots tendent à apparaître dans des contextes particuliers.

C'est ce qui permet au modèle de lever les ambiguïtés acoustiques. La phrase « recognize speech » (« reconnaître la parole ») sonne presque exactement comme « wreck a nice beach » (« démolir une jolie plage ») quand on la prononce vite. La capacité de modélisation du langage choisit la bonne interprétation grâce au contexte environnant. Cet exemple est une blague récurrente du domaine depuis les années 1960, lorsque l'ingénieur Manfred Schroeder a découvert que son vocoder rendait inlassablement sa phrase de test de cette façon.

L'architecture transformer

Presque tous les modèles compétitifs de reconnaissance vocale utilisent aujourd'hui un transformer. Cette architecture a été introduite en 2017 dans l'article « Attention Is All You Need » (Vaswani et al.), consacré à la traduction automatique. Elle s'est révélée capable de se généraliser à presque toutes les tâches de modélisation de séquences, y compris la parole.

Le mécanisme central est l'auto-attention (self-attention). Chaque position de la séquence d'entrée peut porter attention à toutes les autres positions, avec des poids appris qui déterminent à quel point chaque position « tient compte » de chacune des autres. Pour l'audio, cela signifie qu'un mot à la seconde 12 peut directement exploiter le contexte de la seconde 4 sans avoir à propager l'information à travers chaque étape intermédiaire.

Les anciens réseaux récurrents (RNN et LSTM) traitaient les séquences une étape à la fois et peinaient à retenir l'information sur de longs intervalles. Les transformers gèrent plus naturellement les dépendances à longue portée, ce qui compte car l'interprétation correcte d'un mot dans une transcription dépend souvent d'un contexte remontant à plusieurs secondes plus tôt.

Structure encodeur-décodeur

Pour la reconnaissance vocale, l'agencement transformer standard est de type encodeur-décodeur. L'encodeur lit l'intégralité du spectrogramme et produit une séquence de vecteurs de grande dimension, un par trame temporelle. Le décodeur génère ensuite les jetons de texte un par un, en portant attention à la sortie de l'encodeur à chaque étape.

Whisper Large-v3 repose sur cette structure. C'est aussi le cas de la plupart des modèles open source compétitifs de reconnaissance vocale. Notre article Whisper Large-v3 expliqué détaille cette architecture spécifique plus en profondeur.

Comment fonctionne réellement l'entraînement

On part de paramètres aléatoires. Le modèle produit du charabia. On calcule l'erreur entre la sortie du modèle et la transcription correcte, on propage cette erreur vers l'arrière dans le réseau (rétropropagation), et on ajuste légèrement chaque paramètre dans la direction qui réduit l'erreur. On répète ce processus des milliards de fois sur des millions d'exemples d'entraînement.

La mécanique fait intervenir des lots (batchs) de nombreux exemples traités simultanément pour l'efficacité, des calendriers de taux d'apprentissage (l'agressivité avec laquelle on met à jour les paramètres au fil du temps) et des techniques de régularisation pour éviter le surapprentissage. Pour un modèle de la taille de Whisper Large-v3, l'entraînement dure de quelques jours à quelques semaines sur des centaines de GPU.

Pourquoi les données d'entraînement déterminent le plafond

Le modèle ne peut apprendre que les motifs présents dans ses données d'entraînement. Si les données sont exclusivement de l'anglais enregistré en studio, le modèle sera moins performant sur de l'audio téléphonique ou des locuteurs non natifs. Si le jeu d'entraînement ne contient aucun vocabulaire médical, le modèle écrira mal les noms de médicaments.

Whisper Large-v3 a été entraîné sur environ 5 millions d'heures d'audio au total : environ 1 million d'heures d'audio faiblement étiqueté et 4 millions d'heures supplémentaires d'audio pseudo-étiqueté, générées en faisant tourner Whisper Large-v2 sur du contenu non étiqueté. C'est nettement plus que les 680 000 heures utilisées pour entraîner la version originale de Whisper.

Deepgram Nova-3, lancé début 2025, a été entraîné sur un jeu de données propriétaire couvrant plus de 100 domaines et des dizaines de milliards de jetons. L'ampleur et la diversité des données d'entraînement figurent parmi les principales raisons pour lesquelles les modèles des laboratoires bien dotés surpassent les alternatives plus modestes en conditions réelles.

Le fine-tuning est la solution pratique lorsqu'un modèle généraliste donne de moins bons résultats sur votre domaine. On prend un modèle préentraîné et on poursuit l'entraînement sur une petite quantité de données spécifiques : quelques heures d'enregistrements médicaux, de dépôts judiciaires ou de podcasts techniques. Comme le modèle connaît déjà la langue et la structure acoustique, il lui suffit d'ajuster les paramètres qui comptent pour votre vocabulaire. Consultez notre article la précision de transcription expliquée pour en savoir plus sur la façon dont le décalage de domaine se traduit dans les taux d'erreur.

Ce qui se passe au moment de l'inférence

Une fois entraîné, l'utilisation du modèle est simple. Vous fournissez l'audio, le modèle produit du texte.

Le processus d'inférence :

1. L'audio est converti en spectrogramme log-mel.
2. L'encodeur traite le spectrogramme et produit une séquence de vecteurs cachés.
3. Le décodeur génère les jetons de texte un par un, conditionnant chaque nouveau jeton sur la sortie de l'encodeur et tous les jetons précédemment générés.
4. La génération s'arrête lorsque le décodeur produit un jeton de fin de séquence.

Pour un clip de 30 secondes, cela prend une fraction de seconde sur du matériel moderne. Les audios plus longs sont traités par segments de 30 secondes puis recollés.

Pourquoi le bout-en-bout a battu les systèmes hybrides

Avant 2017 environ, les systèmes de reconnaissance vocale étaient hybrides : un réseau de neurones estimait les probabilités des phonèmes, un dictionnaire de prononciation reliait les phonèmes aux mots, un modèle de langage distinct notait les séquences de mots, et un algorithme de recherche par faisceau combinait le tout.

Les systèmes de bout en bout ont fusionné tout cela en un unique réseau entraîné directement sur des paires audio-texte. L'objectif d'entraînement se résume à « produire le bon texte à partir de l'audio », et le modèle apprend toute structure interne qui sert cet objectif.

Trois raisons concrètes pour lesquelles cette approche fonctionne mieux :

Le modèle peut exploiter des informations que les concepteurs des systèmes hybrides n'avaient pas anticipées. Les traits prosodiques comme l'intonation, l'accentuation et le rythme permettent de désambiguïser des mots qui sonnent identiques isolément. Les systèmes hybrides utilisaient rarement la prosodie ; les modèles de bout en bout la captent incidemment pendant l'entraînement.

L'optimisation conjointe est plus efficace que le réglage de composants séparés. Un système hybride est limité par son module le plus faible. Un modèle de bout en bout peut apprendre à compenser les faiblesses d'une partie par les forces d'une autre.

Le transfert entre langues est naturel. Un seul modèle Whisper gère 99 langues car des représentations internes partagées servent toutes. Les systèmes hybrides nécessitaient des composants largement distincts pour chaque langue.

Pour en savoir plus sur les choix d'architecture, consultez notre article sur le fonctionnement de la reconnaissance vocale par IA, qui couvre les familles encodeur-décodeur et CTC en profondeur technique.

Là où les réseaux de neurones échouent encore

Les réseaux de neurones ne sont pas magiques. Ils présentent des modes de défaillance systématiques qui découlent directement du processus d'entraînement.

Vocabulaire de longue traîne. Les mots rarement apparus dans les données d'entraînement sont systématiquement mal orthographiés : noms de marques, jargon technique, noms propres inhabituels. Le modèle attribue une faible probabilité aux jetons rares parce qu'ils sont rarement apparus dans les transcriptions correctes pendant l'entraînement. Notre article sur pourquoi la transcription fait des erreurs traite ce point en détail.

Décalage de distribution. Un audio qui diffère sensiblement de la distribution d'entraînement, que ce soit en raison de conditions d'enregistrement inhabituelles, d'un accent marqué ou d'un vocabulaire de domaine inédit, produit des résultats moins bons. Ce n'est pas un bug ; c'est une conséquence directe du fonctionnement de l'entraînement.

Hallucination. Le décodeur peut produire du texte plausible qui ne correspond à rien dans l'audio, en particulier pendant les silences ou le bruit de fond. Le modèle a une forte prédisposition à produire du texte car ses données d'entraînement contenaient presque toujours de la parole. La détection d'activité vocale (VAD), qui filtre les segments non parlés avant qu'ils n'atteignent le modèle de transcription, constitue l'atténuation standard. Notre article sur le fonctionnement du VAD explique cette technique.

Confusion des locuteurs. Les modèles de transcription standards produisent un flux de texte unique et non différencié. Séparer les locuteurs exige une étape supplémentaire appelée diarisation. Notre article sur la diarisation des locuteurs expliquée détaille son fonctionnement, indépendamment de la transcription de base.

Mon avis : tous les modes de défaillance énumérés ci-dessus disposent d'atténuations connues, et les meilleurs systèmes de production en appliquent plusieurs en combinaison. Mais c'est en comprenant la cause racine de chaque mode de défaillance que l'on sait quelle atténuation mobiliser, et quand elle ne suffira pas.

Une remarque sur la chaîne de traitement du produit

Cet article se concentre sur le réseau de neurones lui-même. Si vous voulez comprendre comment fonctionne l'ensemble de la chaîne produit, de l'importation à la transcription mise en forme — VAD, diarisation, restauration de la ponctuation et formatage de sortie —, consultez notre article sur le fonctionnement de la transcription par IA. Ces deux articles sont conçus pour être lus ensemble.

Si vous voulez essayer le résultat d'un système de transcription neuronale de production sur votre propre audio, ConvertAudioToText exécute Whisper Large-v3 sur les fichiers importés, sans inscription requise pour les clips courts.

Sources

• Fiche modèle OpenAI Whisper Large-v3 : https://huggingface.co/openai/whisper-large-v3
• Vaswani et al., « Attention Is All You Need » (2017) : https://arxiv.org/abs/1706.03762
• Annonce de Deepgram Nova-3 : https://deepgram.com/learn/introducing-nova-3-speech-to-text-api
• WhisperX : Time-Accurate Speech Transcription of Long-Form Audio : https://arxiv.org/pdf/2303.00747
• Calm-Whisper : Reduce Whisper Hallucination On Non-Speech : https://arxiv.org/html/2505.12969v1
• Language Log à propos de « Wreck a Nice Beach » : https://languagelog.ldc.upenn.edu/nll/?p=13828

FAQ

Quelle entrée un réseau de neurones reçoit-il réellement de l'audio ?

Il reçoit un spectrogramme, pas des échantillons d'onde brute. Pour la plupart des modèles modernes, cela signifie un spectrogramme log-mel : une représentation 2D de la façon dont l'énergie fréquentielle se répartit dans le temps. Whisper Large-v3 utilise 128 canaux de fréquences mel par trame temporelle, une amélioration par rapport aux 80 canaux des versions antérieures de Whisper.

Pourquoi les réseaux de neurones de bout en bout ont-ils remplacé les systèmes hybrides de reconnaissance vocale ?

Les anciens systèmes hybrides comportaient des composants distincts : un réseau de neurones pour les probabilités des phonèmes, un dictionnaire de prononciation, un modèle de langage et un décodeur à recherche par faisceau. Chacun devait être réglé indépendamment. Les modèles de bout en bout ont fusionné tout cela en un seul réseau entraîné directement sur des paires audio-texte. Cet entraînement conjoint permet au modèle d'apprendre des stratégies de compensation que des composants séparés ne peuvent pas acquérir, et un seul modèle Whisper peut servir 99 langues car il partage ses représentations internes entre toutes.

Pourquoi un modèle de transcription produit-il parfois du texte qui n'a jamais été dit ?

C'est ce qu'on appelle l'hallucination : le décodeur génère du texte plausible même lorsque l'audio ne contient que du silence, du bruit de fond ou des sons incompréhensibles. Le modèle a appris à partir d'un audio qui contenait presque toujours de la parole, il a donc une forte prédisposition à produire du texte. La détection d'activité vocale (VAD) atténue ce problème en filtrant les segments non parlés avant qu'ils n'atteignent le modèle de transcription.

Qu'est-ce que le fine-tuning et quand est-il utile ?

Le fine-tuning consiste à prendre un modèle généraliste déjà entraîné et à poursuivre son entraînement sur un petit jeu de données issu d'un domaine spécifique, comme des enregistrements médicaux ou des dépôts judiciaires. Comme le modèle connaît déjà la langue et la structure acoustique, il lui suffit de quelques heures d'audio spécifique au domaine pour orienter ses prédictions vers le vocabulaire et les formulations corrects. Le fine-tuning est surtout utile pour le vocabulaire technique rarement apparu dans les données d'entraînement d'origine.