IA Multimodal e Transcrição: O Que Realmente Muda

O Que Muda com o Multimodal

Durante as três primeiras décadas da transcrição comercial, todos os sistemas funcionavam em um único canal: áudio entra, texto sai. Mesmo quando a fonte era um vídeo, o modelo processava apenas a faixa de áudio. Rótulos de falantes, textos na tela, crachás, slides — todo o contexto visual que uma pessoa assistindo ao vídeo usaria naturalmente era descartado antes mesmo de o modelo ver a entrada.

Essa arquitetura mudou à medida que os grandes modelos multimodais amadureceram. O Gemini 2.5 Pro aceita arquivos de vídeo nativamente, amostrando quadros junto com o áudio em uma única chamada de API. O GPT-4o pode processar quadros de imagem extraídos do vídeo em paralelo ao áudio, o que lhe dá contexto visual durante a transcrição. Nenhum dos dois é apenas um modelo de transcrição com uma captura de tela anexada. Os fluxos visual e de áudio se informam mutuamente durante a decodificação.

Para a transcrição especificamente, isso desbloqueia três coisas com as quais sistemas somente de áudio lutaram por décadas.

Melhor Identificação de Falantes

A diarização somente de áudio separa a fala pelas características da voz. Funciona razoavelmente bem para duas vozes distintas, mas se degrada quando os falantes têm tons parecidos, quando uma pessoa domina a conversa ou quando duas pessoas falam ao mesmo tempo. Um modelo multimodal assistindo a uma reunião em vídeo pode observar quem está diante da câmera, ler os rótulos de nome na visão em galeria de uma chamada de vídeo e correlacionar o movimento visível dos lábios com o fluxo de áudio.

Pesquisas publicadas no MISP 2025 Challenge, que avaliou especificamente a diarização audiovisual em gravações de reuniões, mostram qual é o teto real aqui. O melhor sistema audiovisual desse desafio alcançou uma Taxa de Erro de Diarização de 8,09%. É uma melhora significativa em relação às linhas de base somente de áudio, mas não é zero. Em reuniões em vídeo em que todos os participantes estão na tela e identificados, os sistemas de produção vão melhor. Em qualquer segmento em que um falante está fora da câmera, a vantagem visual desaparece por completo.

Vale ser honesto sobre um ponto: a narrativa popular de "leitura labial por IA" exagera o que esses modelos realmente fazem. Eles não rodam um módulo dedicado de leitura labial que decodifica fonemas a partir do formato da boca. Eles amostram quadros a cerca de 1 quadro por segundo e usam esse contexto visual junto com o áudio durante a geração. O benefício é real, mas trata-se mais de "contexto visual para desempatar" do que de "ler os lábios em vez de ouvir".

Nomes Próprios Precisos a Partir do Texto na Tela

Quando alguém diz "estamos usando LangGraph" em um vídeo, um modelo somente de áudio precisa escolher entre várias transcrições plausíveis. Um modelo multimodal que enxerga o logotipo do produto na tela do apresentador ou lê um slide que apresenta o termo pode ancorar essa escolha corretamente.

Essa é uma das reclamações mais persistentes sobre precisão de transcrição: nomes próprios, nomes de produtos e jargões técnicos transcritos como homófonos de palavras comuns. A camada visual ajuda quando a fonte é vídeo e o termo relevante aparece na tela. Ela não ajuda em gravações somente de áudio.

Contexto de Slides e Conteúdo da Tela

Uma transcrição de aula que diz "vamos analisar esta equação" é menos útil do que uma que inclui a própria equação. O Gemini 2.5 Pro, trabalhando a partir de quadros de vídeo, consegue extrair texto de slides, código de gravações de tela e títulos de quadros brancos. A transcrição resultante se lê mais como um documento do que como um registro taquigráfico.

Isso importa mais para conteúdo técnico e educacional: palestras de engenharia, demonstrações de produtos, vídeos de treinamento, aulas universitárias. Para esses formatos, o multimodal produz resultados qualitativamente diferentes do processamento somente de áudio.

Ferramentas Que Usam Isso Hoje

A capacidade multimodal existe na camada de API. Se um produto voltado ao usuário a expõe depende da ferramenta.

Gemini 2.5 Pro (Google AI / Vertex AI). Aceita arquivos de vídeo nativamente via File API. Os vídeos são amostrados a 1 quadro por segundo por padrão, com áudio a 1 Kbps. Você pode enviar uma gravação longa de reunião e solicitar uma transcrição com rótulos de falantes, extração do conteúdo dos slides e marcações de tempo em uma única chamada. O Gemini processa vídeo a aproximadamente 300 tokens por segundo de gravação. Para um vídeo de uma hora, isso equivale a cerca de 1,08 milhão de tokens de entrada, o que enquadra o uso na faixa de preços acima de 200 mil tokens, a US$ 2,50 por milhão de tokens no Gemini 2.5 Pro — só a entrada custa cerca de US$ 2,70 nessa hora, antes dos tokens de saída.

GPT-4o (OpenAI). Não aceita arquivos de vídeo diretamente para transcrição. O modelo dedicado gpt-4o-transcribe trabalha apenas com áudio, ao custo de US$ 0,006 por minuto (US$ 0,36/hora). Para transcrição com consciência de vídeo usando o GPT-4o, o caminho prático é extrair você mesmo os quadros do vídeo e enviá-los como entradas de imagem junto com o áudio, o que exige um pipeline de várias etapas do seu lado. O suporte nativo a vídeo do Gemini é mais simples para esse caso de uso.

APIs especializadas em transcrição. Até meados de 2026, as principais APIs dedicadas de fala para texto (Deepgram, AssemblyAI) continuam trabalhando apenas com áudio. Elas não aceitam entrada de vídeo nem usam contexto visual durante a transcrição. Sua vantagem está no custo e na latência: o áudio pré-gravado no Deepgram Nova-3 custa cerca de US$ 0,0043 por minuto (US$ 0,26/hora), aproximadamente um décimo do custo do processamento multimodal.

A diferença é real. Para a maioria dos casos de uso, o modo somente de áudio continua sendo o padrão prático.

Onde o Multimodal Ainda Deixa a Desejar

Apesar dos ganhos, a transcrição multimodal tem modos de falha claros.

Falantes fora da câmera. Se um falante não estiver visível no quadro, a vantagem visual evapora. Perguntas da plateia em uma conferência, um apresentador narrando sobre b-roll, um entrevistador fora da câmera: em todos esses casos, o modelo volta ao comportamento somente de áudio. Como vídeos do mundo real frequentemente têm segmentos assim, as melhorias reais de precisão ficam abaixo do que os números de benchmarks sugerem.

Vídeo comprimido ou com pouca luz. As pistas visuais só ajudam se o modelo conseguir lê-las. Vídeos muito comprimidos, capturas de tela com taxa de quadros baixa e gravações com pouca luz degradam a entrada visual. Com amostragem de 1 quadro por segundo, movimentos rápidos também reduzem a utilidade do fluxo visual.

Custo em conteúdos longos. A diferença de custo entre o processamento multimodal de vídeo e a transcrição somente de áudio é de aproximadamente 10 vezes para uma hora de conteúdo. É a ferramenta certa para uma reunião geral trimestral de alto valor; não é o padrão certo para cem gravações rotineiras de conversas individuais.

Limites de janela de contexto em vídeos muito longos. A janela de contexto de 1 milhão de tokens do Gemini 2.5 Pro comporta aproximadamente 55 minutos de vídeo na resolução padrão antes de atingir os limites. Para uma gravação de várias horas, é preciso dividir o vídeo em partes, o que adiciona complexidade e pode cortar falantes no meio de uma frase.

Slides em outro idioma ou misturando idiomas. Se o falante fala em um idioma, mas os slides estão em outro, o modelo precisa lidar com os dois simultaneamente. Inglês, espanhol e os principais idiomas europeus funcionam bem para extração de texto. Idiomas menores produzem resultados menos consistentes.

Um Fluxo de Trabalho Prático Que Funciona Hoje

Minha opinião: para a maioria dos usos em produção, a transcrição somente de áudio ainda é o padrão melhor, com o multimodal como uma etapa pontual de correção.

Um fluxo de trabalho que gera resultados sólidos sem pagar pelo processamento multimodal completo:

1. Extraia a faixa de áudio e gere uma transcrição rápida somente de áudio usando o Deepgram Nova-3 ou o OpenAI Whisper.
2. Revise a transcrição em busca de segmentos incertos: nomes próprios que pareçam errados, rótulos de falantes estranhos, jargão embaralhado.
3. Rode uma etapa multimodal direcionada com o Gemini 2.5 Pro nos segmentos específicos que precisam de desambiguação, fornecendo os quadros de vídeo correspondentes.
4. Incorpore as correções multimodais à transcrição de áudio.

Isso custa uma fração do processamento multimodal completo e geralmente produz um resultado comparável ou melhor, porque o modelo dedicado de áudio é mais confiável em trechos longos e sem ambiguidade.

Para um único vídeo de alto valor em que a precisão importa do início ao fim (uma palestra principal de conferência, a gravação de um lançamento de produto, uma apresentação ao conselho), vale a pena pagar o prêmio por uma etapa multimodal completa. Para transcrição de podcasts ou gravações de chamadas em que os participantes raramente aparecem na câmera, o modo somente de áudio vence tanto em custo quanto em precisão.

Se você precisa de transcrições limpas rapidamente sem gerenciar nenhum desses pipelines, a ferramenta de vídeo para texto do ConvertAudioToText cuida da extração de áudio e da transcrição em uma única etapa.

O Que Observar nos Próximos 18 Meses

Compressão de custos. O processamento multimodal de vídeo segue a mesma curva de queda de custos dos LLMs somente de texto. Quando o custo de entrada de um vídeo de uma hora cair abaixo de US$ 0,50, a conta do fluxo de trabalho muda e o multimodal passa a ser um padrão razoável, e não uma opção premium.

Amostragem de quadros melhor. O padrão atual de 1 quadro por segundo é um compromisso entre custo e precisão. Taxas de amostragem mais altas capturam mais contexto visual (especialmente movimento dos lábios e slides que mudam rápido), mas multiplicam o custo em tokens. Espere amostragem adaptativa que concentre tokens em segmentos de muito movimento ou muita informação.

Multimodal no dispositivo. A Apple entrega transcrição no próprio dispositivo no iOS 18 para os apps Gravador (Voice Memos) e Notas. Os modelos têm cerca de 3 bilhões de parâmetros otimizados para o silício da Apple. A transcrição multimodal totalmente no dispositivo (em que o modelo processa simultaneamente áudio e quadros de vídeo sem chamar um servidor) ainda não está disponível com qualidade de produção, mas as peças arquiteturais já existem. Para a trajetória mais ampla, veja o futuro da transcrição com IA.

Para a diarização de falantes especificamente, os resultados da pesquisa do MISP 2025 sugerem que os melhores ganhos de curto prazo virão de combinar modelos dedicados de diarização de áudio com contexto multimodal, e não de substituir os primeiros pelos segundos.

FAQ

Um modelo multimodal consegue ler lábios para melhorar a transcrição?

Parcialmente, e com ressalvas importantes. Modelos de pesquisa como os avaliados no MISP 2025 Challenge usam codificadores visuais da região dos lábios e alcançaram uma melhor Taxa de Erro de Diarização de 8,09% em tarefas audiovisuais, uma melhora em relação às linhas de base somente de áudio. Mas modelos multimodais de produção como o Gemini 2.5 Pro e o GPT-4o usam quadros de vídeo amostrados (normalmente 1 quadro por segundo), não módulos dedicados de leitura labial. Eles correlacionam o movimento dos lábios com o contexto de áudio, em vez de decodificar fonemas diretamente dos lábios. O benefício prático aparece principalmente na identificação e na desambiguação de falantes, não na recuperação de palavras que o áudio perdeu por completo.

Quanto custa a transcrição multimodal de vídeo em comparação com a somente de áudio?

A diferença é significativa. O áudio pré-gravado no Deepgram Nova-3 custa cerca de US$ 0,0043 por minuto (US$ 0,26 por hora). O GPT-4o-transcribe, que trabalha apenas com áudio, custa US$ 0,006 por minuto (US$ 0,36 por hora). O Gemini 2.5 Pro processa vídeo a aproximadamente 300 tokens por segundo, o que, para um vídeo de uma hora, equivale a cerca de 1,08 milhão de tokens de entrada, precificados a US$ 2,50 por milhão de tokens para prompts grandes. Isso coloca só o custo de entrada de uma hora de processamento multimodal de vídeo em torno de US$ 2,70, cerca de dez vezes a taxa somente de áudio, antes dos tokens de saída. O prêmio é real, e a seção de fluxo de trabalho acima explica quando vale a pena pagá-lo.

O GPT-4o processa vídeo nativamente para transcrição?

Não da mesma forma que o Gemini. O modelo dedicado gpt-4o-transcribe trabalha apenas com áudio, ao custo de US$ 0,006 por minuto. Para usar o GPT-4o em transcrição com consciência de vídeo, você envia quadros extraídos como entradas de imagem junto com o áudio, o que exige um pipeline de várias etapas do seu lado. O Gemini 2.5 Pro aceita arquivos de vídeo nativamente via File API, com amostragem de 1 quadro por segundo por padrão, o que torna o fluxo de trabalho mais simples para casos de uso com muitos vídeos.

Que tipos de conteúdo em vídeo se beneficiam mais da transcrição multimodal?

Vídeo estruturado, em que a informação visual é aditiva: gravações de aulas com slides, demonstrações de produtos com texto na tela, painéis de conferências em que crachás ou rótulos na tela identificam os falantes e gravações de tela de fluxos técnicos. Os ganhos são menores para conteúdo centrado no áudio, como entrevistas de podcast, gravações de chamadas telefônicas ou qualquer cenário em que os falantes estejam fora da câmera. Para esses casos, um motor de transcrição padrão somente de áudio é mais rápido e barato, com precisão comparável.

Fontes

• Preços da API Gemini, Google AI for Developers
• Documentação de compreensão de vídeo do Gemini
• Avançando a compreensão de vídeo com o Gemini 2.5, Google Developers Blog
• Preços da API OpenAI (modelos de áudio, GPT-4o-transcribe)
• Preços do Deepgram Nova-3
• MISP 2025 Challenge: Diarização e Reconhecimento Audiovisual
• Levantamento abrangente dos avanços em modelos de leitura labial, IET Image Processing 2025
• Lançamento do GPT-4o-transcribe, ScribeWave