IA multimodale et transcription : ce qui change vraiment

Ce qui change avec le multimodal

Pendant les trois premières décennies de la transcription commerciale, chaque système fonctionnait sur un seul canal : l'audio en entrée, le texte en sortie. Même lorsque la source était une vidéo, le modèle ne traitait que la piste audio. Étiquettes de locuteurs, texte à l'écran, badges nominatifs, diapositives — tout le contexte visuel qu'un humain regardant la vidéo utiliserait naturellement était écarté avant même que le modèle ne voie l'entrée.

Cette architecture a changé à mesure que les grands modèles multimodaux ont mûri. Gemini 2.5 Pro accepte nativement les fichiers vidéo, échantillonnant des images en parallèle de l'audio dans un seul appel API. GPT-4o peut traiter des images extraites d'une vidéo en parallèle de l'audio, ce qui lui donne un contexte visuel pendant la transcription. Aucun de ces deux modèles n'est simplement un modèle de transcription auquel on aurait accolé une capture d'écran : les flux visuel et audio s'informent mutuellement pendant le décodage.

Pour la transcription spécifiquement, cela débloque trois points sur lesquels les systèmes audio seuls butaient depuis des décennies.

Une meilleure identification des locuteurs

La diarisation audio seule sépare la parole selon les caractéristiques vocales. Elle fonctionne raisonnablement bien pour deux voix distinctes, mais se dégrade lorsque les locuteurs ont des tonalités similaires, lorsqu'une personne domine ou lorsque deux personnes parlent en même temps. Un modèle multimodal qui regarde une réunion vidéo peut observer qui est à l'écran, lire les étiquettes de nom dans la vue galerie d'un appel vidéo et corréler le mouvement visible des lèvres avec le flux audio.

Les recherches publiées dans le cadre du MISP 2025 Challenge, qui a spécifiquement évalué la diarisation audiovisuelle sur des enregistrements de réunions, montrent le véritable plafond ici. Le meilleur système audiovisuel de ce challenge a atteint un taux d'erreur de diarisation (Diarization Error Rate) de 8,09 %. C'est une amélioration significative par rapport aux références audio seules, mais ce n'est pas zéro. Pour les réunions vidéo où tous les participants sont à l'écran et identifiés, les systèmes de production font mieux. Pour tout segment où un locuteur est hors champ, l'avantage visuel disparaît entièrement.

Une chose mérite d'être dite honnêtement : la présentation populaire de la « lecture labiale par l'IA » survend ce que ces modèles font réellement. Ils ne font pas tourner un module dédié de lecture labiale qui décode les phonèmes à partir des formes de la bouche. Ils échantillonnent des images à environ 1 image par seconde et utilisent ce contexte visuel en complément de l'audio pendant la génération. Le bénéfice est réel, mais il relève davantage du « contexte visuel pour trancher les ambiguïtés » que de la « lecture sur les lèvres plutôt qu'à l'oreille ».

Des noms propres exacts grâce au texte à l'écran

Quand quelqu'un dit « nous utilisons LangGraph » dans une vidéo, un modèle audio seul doit choisir entre plusieurs transcriptions plausibles. Un modèle multimodal capable de voir le logo d'un produit sur l'écran du locuteur ou de lire une diapositive qui introduit le terme peut ancrer ce choix correctement.

C'est l'une des plaintes les plus persistantes concernant la précision de la transcription : des noms propres, des noms de produits et du jargon technique transcrits sous forme d'homophones courants. La couche visuelle aide quand la source est une vidéo et que le terme concerné apparaît à l'écran. Elle n'aide pas pour les enregistrements audio seuls.

Le contexte apporté par les diapositives et le contenu à l'écran

Une transcription de cours qui dit « regardons cette équation » est moins utile qu'une transcription qui inclut l'équation. Gemini 2.5 Pro, travaillant à partir d'images vidéo, peut extraire le texte des diapositives, le code des enregistrements d'écran et les titres des tableaux blancs. La transcription obtenue se lit davantage comme un document que comme un relevé sténographique.

Cela compte surtout pour le contenu technique et éducatif : conférences d'ingénierie, démonstrations de produits, vidéos de formation, cours universitaires. Pour ces formats, le multimodal produit un résultat qualitativement différent du traitement audio seul.

Les outils qui exploitent cela aujourd'hui

La capacité multimodale existe au niveau de l'API. Qu'un produit destiné aux utilisateurs l'expose dépend de l'outil.

Gemini 2.5 Pro (Google AI / Vertex AI). Accepte nativement les fichiers vidéo via la File API. Les vidéos sont échantillonnées à 1 image par seconde par défaut, avec l'audio à 1 Kbps. Vous pouvez téléverser un long enregistrement de réunion et demander une transcription avec étiquettes de locuteurs, extraction du contenu des diapositives et horodatages en un seul appel. Gemini traite la vidéo à environ 300 tokens par seconde de séquence. Pour une vidéo d'une heure, cela représente environ 1,08 million de tokens d'entrée, ce qui correspond au palier tarifaire au-delà de 200K, à 2,50 $ par million de tokens pour Gemini 2.5 Pro ; l'entrée seule coûte donc environ 2,70 $ pour cette heure, avant les tokens de sortie.

GPT-4o (OpenAI). N'accepte pas directement les fichiers vidéo pour la transcription. Le modèle dédié gpt-4o-transcribe est audio seul, facturé 0,006 $ par minute (0,36 $/heure). Pour une transcription tenant compte de la vidéo avec GPT-4o, la voie pratique consiste à extraire vous-même des images de la vidéo et à les soumettre comme entrées d'image en parallèle de l'audio, ce qui nécessite un pipeline multi-étapes de votre côté. La prise en charge native de la vidéo par Gemini est plus simple pour ce cas d'usage.

API de transcription spécialisées. À mi-2026, les grandes API dédiées de speech-to-text (Deepgram, AssemblyAI) restent audio seules. Elles n'acceptent pas d'entrée vidéo et n'utilisent pas de contexte visuel pendant la transcription. Leur avantage : le coût et la latence. L'audio pré-enregistré Deepgram Nova-3 coûte environ 0,0043 $ par minute (0,26 $/heure), soit environ un dixième du coût du traitement multimodal.

L'écart est réel. Pour la plupart des cas d'usage, l'audio seul reste le choix pratique par défaut.

Là où le multimodal échoue encore

Malgré ces gains, la transcription multimodale présente des modes d'échec clairs.

Locuteurs hors champ. Si un locuteur n'est pas visible dans le cadre, l'avantage visuel s'évapore. Questions du public lors d'une conférence, présentateur qui commente sur des images d'illustration, intervieweur hors champ : pour tous ces cas, le modèle retombe sur un comportement audio seul. Comme les vidéos réelles comportent souvent de tels segments, les gains de précision réels sont inférieurs à ce que suggèrent les chiffres des benchmarks.

Vidéo compressée ou en faible luminosité. Les indices visuels n'aident que si le modèle peut les lire. Les vidéos fortement compressées, les captures d'écran à faible cadence et les enregistrements en faible luminosité dégradent tous l'entrée visuelle. Avec un échantillonnage à 1 image par seconde, les mouvements rapides réduisent aussi l'utilité du flux visuel.

Coût des formats longs. L'écart de coût entre le traitement vidéo multimodal et la transcription audio seule est d'environ 10 fois pour une heure de contenu. C'est le bon outil pour une réunion générale trimestrielle à forte valeur ; ce n'est pas le bon choix par défaut pour une centaine d'enregistrements d'appels en tête-à-tête de routine.

Limites de fenêtre de contexte sur les très longues vidéos. La fenêtre de contexte d'un million de tokens de Gemini 2.5 Pro couvre environ 55 minutes de vidéo à la résolution par défaut avant d'atteindre les limites. Pour un enregistrement de plusieurs heures, il faut découper la vidéo, ce qui ajoute de la complexité et peut couper des locuteurs en pleine phrase.

Diapositives en langue étrangère ou en langues mixtes. Si le locuteur parle dans une langue mais que les diapositives sont dans une autre, le modèle doit gérer les deux simultanément. L'anglais, l'espagnol et les grandes langues européennes donnent de bons résultats pour l'extraction de texte. Les langues moins répandues produisent des résultats moins réguliers.

Un flux de travail concret qui fonctionne dès aujourd'hui

Mon avis : pour la plupart des usages en production, la transcription audio seule reste le meilleur choix par défaut, le multimodal servant de passe de correction ciblée.

Voici un flux de travail qui donne d'excellents résultats sans payer le prix du traitement multimodal complet :

1. Extrayez la piste audio et générez une transcription rapide en audio seul avec Deepgram Nova-3 ou OpenAI Whisper.
2. Relisez la transcription pour repérer les segments incertains : noms propres qui semblent erronés, étiquettes de locuteurs douteuses, jargon déformé.
3. Effectuez une passe multimodale ciblée avec Gemini 2.5 Pro sur les segments précis qui nécessitent une désambiguïsation, en fournissant les images vidéo correspondantes.
4. Fusionnez les corrections multimodales dans la transcription audio.

Cela coûte une fraction du traitement multimodal complet et produit généralement un résultat comparable ou meilleur, car le modèle audio dédié est plus fiable sur les longs passages sans ambiguïté.

Pour une vidéo unique à forte valeur où la précision compte du début à la fin (conférence inaugurale, enregistrement d'un lancement de produit, présentation au conseil d'administration), une passe multimodale complète vaut la prime. Pour la transcription de podcasts ou les enregistrements d'appels où les participants sont rarement à l'écran, l'audio seul l'emporte tant sur le coût que sur la précision.

Si vous avez besoin de transcriptions propres rapidement sans gérer tout ce pipeline, l'outil vidéo-vers-texte de ConvertAudioToText gère l'extraction audio et la transcription en une seule étape.

Ce qu'il faut surveiller au cours des 18 prochains mois

Compression des coûts. Le traitement vidéo multimodal suit la même courbe de baisse des coûts que les LLM texte seul. Quand le coût d'entrée d'une vidéo d'une heure passera sous 0,50 $, l'équation du flux de travail changera et le multimodal deviendra un choix par défaut raisonnable plutôt qu'une option premium.

Meilleur échantillonnage des images. Le réglage actuel par défaut de 1 image par seconde est un compromis coût-précision. Des cadences d'échantillonnage plus élevées capturent davantage de contexte visuel (notamment le mouvement des lèvres et les diapositives qui changent rapidement) mais multiplient le coût en tokens. Attendez-vous à un échantillonnage adaptatif qui concentre les tokens sur les segments à fort mouvement ou à forte densité d'information.

Le multimodal sur appareil. Apple intègre la transcription sur appareil dans iOS 18 pour Dictaphone et Notes. Les modèles comptent environ 3 milliards de paramètres optimisés pour les puces Apple. La transcription multimodale complète sur appareil (où le modèle traite simultanément l'audio et les images vidéo sans appel serveur) n'est pas encore disponible en qualité de production, mais les pièces architecturales sont en place. Pour la trajectoire plus large, voir l'avenir de la transcription par IA.

Pour la diarisation des locuteurs spécifiquement, les résultats de recherche du MISP 2025 suggèrent que les meilleurs gains à court terme viendront de la combinaison de modèles de diarisation audio dédiés avec un contexte multimodal, plutôt que du remplacement des premiers par le second.

FAQ

Un modèle multimodal peut-il lire sur les lèvres pour améliorer la transcription ?

Partiellement, et avec d'importantes réserves. Des modèles de recherche comme ceux évalués dans le MISP 2025 Challenge utilisent des encodeurs visuels de la région labiale et ont atteint un meilleur taux d'erreur de diarisation de 8,09 % sur les tâches audiovisuelles, une amélioration par rapport aux références audio seules. Mais les modèles multimodaux de production comme Gemini 2.5 Pro et GPT-4o utilisent des images vidéo échantillonnées (typiquement 1 image par seconde), pas des modules dédiés de lecture labiale. Ils corrèlent le mouvement des lèvres avec le contexte audio plutôt que de décoder directement les phonèmes à partir des lèvres. Le bénéfice pratique se manifeste surtout dans l'identification et la désambiguïsation des locuteurs, pas dans la récupération de mots que l'audio a totalement manqués.

Combien coûte la transcription vidéo multimodale par rapport à l'audio seul ?

L'écart est significatif. L'audio pré-enregistré Deepgram Nova-3 coûte environ 0,0043 $ par minute (0,26 $ par heure). GPT-4o-transcribe, qui est audio seul, coûte 0,006 $ par minute (0,36 $ par heure). Gemini 2.5 Pro traite la vidéo à environ 300 tokens par seconde, soit pour une vidéo d'une heure environ 1,08 million de tokens d'entrée, facturés 2,50 $ par million de tokens pour les grandes requêtes. Cela met le coût d'entrée seul d'une heure de traitement vidéo multimodal autour de 2,70 $, soit environ dix fois le tarif audio seul, avant les tokens de sortie. La prime est réelle et la section sur le flux de travail ci-dessus explique quand elle vaut la peine d'être payée.

GPT-4o traite-t-il la vidéo nativement pour la transcription ?

Pas de la même manière que Gemini. Le modèle dédié gpt-4o-transcribe est audio seul, facturé 0,006 $ par minute. Pour utiliser GPT-4o pour une transcription tenant compte de la vidéo, vous soumettez des images extraites comme entrées d'image en parallèle de l'audio, ce qui nécessite un pipeline multi-étapes de votre côté. Gemini 2.5 Pro accepte nativement les fichiers vidéo via la File API, avec un échantillonnage à 1 image par seconde par défaut, ce qui simplifie le flux de travail pour les cas d'usage riches en vidéo.

Quels types de contenu vidéo bénéficient le plus de la transcription multimodale ?

Les vidéos structurées où l'information visuelle est additive : enregistrements de cours avec diapositives, démonstrations de produits avec du texte à l'écran, tables rondes de conférence où les badges nominatifs ou les étiquettes à l'écran identifient les locuteurs, et enregistrements d'écran de flux de travail techniques. Les gains sont les plus faibles pour le contenu centré sur l'audio comme les interviews de podcast, les enregistrements d'appels téléphoniques ou tout scénario où les locuteurs sont hors champ. Dans ces cas, un moteur de transcription audio seul standard est plus rapide et moins cher, avec une précision comparable.

Sources

• Tarification de l'API Gemini, Google AI for Developers
• Documentation Compréhension vidéo de Gemini
• Faire progresser la compréhension vidéo avec Gemini 2.5, Google Developers Blog
• Tarification de l'API OpenAI (modèles audio, GPT-4o-transcribe)
• Tarification Deepgram Nova-3
• MISP 2025 Challenge : Diarisation et reconnaissance audiovisuelles
• Une enquête complète sur les avancées des modèles de lecture labiale, IET Image Processing 2025
• Lancement de GPT-4o-transcribe, ScribeWave