Como funciona o reconhecimento de fala por IA: o pipeline neural (2026)

O pipeline em resumo

O reconhecimento de fala por IA moderno é uma rede neural encoder-decoder que lê um espectrograma log-mel do seu áudio e gera tokens de texto, tudo em uma única passagem, sem modelo acústico ou dicionário de pronúncia separados no meio. O modelo aprende o mapeamento de som para palavras de forma conjunta, e é por isso que a precisão melhorou tão drasticamente nos últimos cinco anos. Se você quer a história do pipeline híbrido mais antigo (HMM, MFCC, modelos acústico e de linguagem separados), veja como funciona o reconhecimento de fala. Se você quer a visão do lado do produto (o que acontece entre o envio do seu arquivo e a transcrição que você baixa), veja como funciona a transcrição com IA. Este post aborda a própria arquitetura neural moderna.

Da onda sonora à entrada do modelo

Antes que qualquer rede neural veja seu áudio, a forma de onda bruta precisa ser convertida em um formato que o modelo possa processar.

O formato de entrada padrão é um espectrograma log-mel. O áudio é dividido em quadros de 25 ms sobrepostos, amostrados a cada 10 ms. Cada quadro passa por uma Transformada de Fourier de Tempo Curto (STFT) para produzir um espectro de frequência, que então é filtrado por um banco de filtros triangulares espaçados na escala mel (uma escala de frequência perceptual que corresponde ao funcionamento da audição humana). Uma compressão logarítmica é aplicada às saídas dos filtros, o que aproxima a sensibilidade logarítmica do ouvido à intensidade sonora. O resultado é uma grade 2D: tempo em um eixo, frequência mel no outro, com a intensidade mostrando quanta energia está presente em cada faixa de frequência a cada momento.

O Whisper large-v3 usa 128 bins de frequência mel (versões anteriores do Whisper e a maioria dos outros modelos usam 80). Essa grade 2D é o que o codificador lê.

O codificador: extraindo significado dos patches do espectrograma

A tarefa do codificador é transformar o espectrograma em uma representação interna rica do que está sendo dito.

Codificadores transformer processam o espectrograma em patches sobrepostos com self-attention multi-cabeça. Cada cabeça de atenção compara cada posição do espectrograma com todas as outras posições para identificar quais partes do contexto do áudio são relevantes entre si. Camadas convolucionais anteriores (ou sub-blocos convolucionais, como na arquitetura Conformer) capturam padrões locais, enquanto as camadas transformer capturam dependências de longo alcance. É isso que permite ao modelo saber que o "right" em uma frase sobre fazer uma curva não é o mesmo som do "right" em uma frase sobre estar correto, mesmo antes de o decodificador se comprometer com qualquer uma das interpretações.

O Conformer (publicado pelo Google na INTERSPEECH 2020) adiciona um módulo de convolução dentro de cada bloco transformer, misturando processamento local e global de uma forma que funciona particularmente bem para fala, porque as características acústicas têm forte correlação local.

O decodificador: gerando texto, token por token

O decodificador é onde o modelo realmente produz texto.

O Whisper usa um decodificador seq2seq autorregressivo com cross-attention. O decodificador gera tokens de texto um de cada vez. A cada passo, ele usa self-attention sobre os tokens que já produziu (para manter a linguagem coerente) e cross-attention na saída do codificador (para permanecer ancorado nas evidências do áudio). Os pesos de cross-attention determinam quais partes do espectrograma o modelo está "ouvindo" enquanto escreve cada token.

Os tokens são unidades de subpalavra (vocabulário BPE), não fonemas. O modelo nunca produz uma camada explícita de fonemas; ele mapeia o áudio diretamente para tokens word-piece em um único processo aprendido. Se você já ouviu dizer que o ASR moderno ainda usa modelos acústicos em nível de fonema e um modelo de linguagem estatístico separado, essa descrição se aplica ao pipeline híbrido clássico, parcialmente substituído por modelos baseados em CTC e quase totalmente por modelos seq2seq.

CTC, Seq2Seq e transdutores: três estratégias para um mesmo problema

Nem todos os sistemas neurais de ASR usam o mesmo mecanismo de saída. Compreender as três abordagens principais é o cerne deste conteúdo.

CTC (Connectionist Temporal Classification) foi proposto em 2006 e continua amplamente utilizado (o wav2vec 2.0, do Facebook AI, é o exemplo moderno mais proeminente). O modelo gera uma distribuição de probabilidade sobre tokens em cada quadro de áudio. O CTC então colapsa a sequência em nível de quadro mesclando tokens repetidos e removendo tokens em branco para produzir a transcrição final. A propriedade-chave é que o CTC assume independência condicional entre os tokens de saída: a previsão de cada quadro é feita sem acesso aos tokens previstos anteriormente. Isso torna o CTC rápido e fácil de treinar, mas a suposição de não haver modelo de linguagem no processo significa que ele pode ser lexicalmente incoerente em palavras raras.

Atenção seq2seq (encoder-decoder) é o que o Whisper usa. O decodificador autorregressivo tem comportamento completo semelhante a um modelo de linguagem: cada token é condicionado a tudo o que veio antes. Isso produz texto mais natural e coerente, especialmente em palavras fora do vocabulário ou específicas de domínio. A contrapartida é que a decodificação é sequencial e mais lenta, e o modelo precisa processar todo o áudio antes de gerar (processamento em lote, e não em streaming).

RNN-T (Recurrent Neural Network Transducer) combina as forças de ambos. Seu codificador acústico e sua rede de previsão (um pequeno modelo de linguagem autorregressivo sobre os tokens previstos anteriormente) são fundidos por meio de uma rede conjunta. A principal vantagem é o streaming: o RNN-T pode emitir tokens conforme o áudio chega, sem esperar o fim do enunciado. É por isso que modelos baseados em transdutores dominam aplicativos de streaming em produção, assistentes de voz e sistemas de legendagem em tempo real. Ele teve origem em trabalhos de Alex Graves e se tornou a espinha dorsal do ASR em dispositivos em produtos como o gravador do Pixel do Google.

O treinamento híbrido CTC + atenção é cada vez mais comum: a perda do CTC incentiva o alinhamento monótono durante o treinamento, ajudando o decodificador de atenção a convergir mais rápido, enquanto o decodificador de atenção cuida da saída final.

O que os dados de treinamento realmente moldam

O volume e a diversidade dos dados de treinamento determinam a generalização mais do que a arquitetura sozinha.

O Whisper original (2022) foi treinado com 680 mil horas de áudio multilíngue fracamente supervisionado, cobrindo 96 idiomas e incluindo 125 mil horas de dados de tradução. O Whisper large-v3 (lançado no fim de 2023) foi treinado com 1 milhão de horas de áudio rotulado de forma fraca mais 4 milhões de horas de áudio pseudo-rotulado gerado usando o Whisper large-v2, num total de aproximadamente 5 milhões de horas, com 1,55 bilhão de parâmetros e suporte a 99 idiomas.

"Fracamente supervisionado" significa que os rótulos de treinamento vieram de fontes já existentes na internet (legendas, transcrições), e não de gravações de estúdio meticulosamente anotadas. A diversidade de condições que isso introduz faz parte do motivo pelo qual o modelo lida melhor com áudio do mundo real do que muitos concorrentes treinados com corpora menores, porém mais limpos.

Alguns modelos são treinados conjuntamente em transcrição, tradução, identificação de idioma e previsão de marcações de tempo. No caso do Whisper, o condicionamento de tarefa é feito inteiramente por meio de tokens especiais do decodificador adicionados ao início da sequência de saída: os mesmos pesos do transformer aprendem as quatro tarefas simultaneamente. Esse treinamento multitarefa parece produzir representações de áudio mais ricas do que o treinamento de tarefa única.

Diarização de falantes: um sistema paralelo

A diarização, ou seja, descobrir quem disse o quê, não é integrada ao modelo central de ASR. Ela roda como um pipeline separado junto com a transcrição.

A diarização neural moderna extrai embeddings de falantes e depois os agrupa. O áudio é dividido em segmentos sobrepostos. Um codificador neural (comumente uma arquitetura TDNN ou ResNet) converte cada segmento em um vetor de alta dimensão que captura as características vocais do falante: padrões de pitch, frequências de formantes, formato do trato vocal. Esses embeddings são agrupados hierarquicamente. Segmentos com embeddings semelhantes recebem o mesmo rótulo de falante.

O desafio central é que o número de falantes é desconhecido. Sistemas modernos usam limiares de similaridade aprendidos para decidir onde cortar o dendrograma. Fala sobreposta (duas pessoas falando ao mesmo tempo) continua sendo um problema de pesquisa ativo: a maioria dos sistemas em produção lida com fala simultânea atribuindo um falante por quadro, o que significa que a voz mais baixa em uma sobreposição normalmente é perdida.

Ferramentas como transcrição de reuniões e transcrição de entrevistas aplicam a diarização como uma etapa de pós-processamento após a conclusão do ASR central.

Precisão: o que os números realmente significam

Os números de precisão destacados que você vê em materiais de marketing quase sempre refletem fala lida limpa, não áudio do mundo real.

O Whisper large-v3 alcança 2,7% de WER no LibriSpeech test-clean, que é áudio de audiolivro lido com qualidade de estúdio. No Hugging Face Open ASR Leaderboard (instantâneo de meados de 2026), o Whisper large-v3 registrou um WER médio de 7,44% em diversos conjuntos de teste do mundo real. Modelos bem classificados como o Transcribe, da Cohere (WER médio de 5,42%), e o ElevenLabs Scribe v2 (5,83%) empurram o estado da arte adiante, mas esses números mudam à medida que novos modelos entram no ranking.

Para conteúdo prático, o WER do mundo real em reuniões, podcasts e chamadas telefônicas normalmente varia de 8% a 15%, dependendo do nível de ruído, do número de falantes e da diversidade de sotaques. A diferença entre o WER de benchmark e o WER prático é o principal motivo pelo qual você deve testar qualquer sistema de ASR no seu próprio áudio antes de se comprometer.

Minha opinião: o WER no LibriSpeech mostra o teto do modelo. O WER no seu conteúdo real é o único número que importa para o seu caso de uso.

Por que os modelos end-to-end superam o antigo pipeline híbrido

O pipeline clássico tinha um extrator de características, um modelo acústico baseado em HMM que mapeava características para fonemas, um léxico de pronúncia e um modelo de linguagem n-gram treinado separadamente. Cada estágio era otimizado independentemente, então erros em um estágio eram invisíveis para os outros.

Modelos end-to-end otimizam conjuntamente todo o mapeamento de áudio para texto. Se uma palavra soa acusticamente ambígua, o decodificador neural pode imediatamente usar o contexto da frase para resolvê-la, porque a evidência acústica e o modelo de linguagem são o mesmo conjunto de pesos. Não há costura entre "que fonema é este?" e "que palavra esta sequência de fonemas soletra?". Esta é a razão arquitetural pela qual a precisão em áudio difícil melhorou tão drasticamente entre 2019 e 2023.

A mudança veio em duas ondas. Modelos baseados em CTC, como o DeepSpeech (2014), foram os primeiros sistemas práticos de ASR end-to-end. Modelos seq2seq baseados em transformer, a partir de cerca de 2020, ampliaram isso ainda mais ao remover a suposição de independência condicional que tornava fraca a integração com modelo de linguagem do CTC.

Se você quer uma visão detalhada do que acontece depois que a saída do ASR existe (restauração de pontuação, fusão da diarização, formatação de parágrafos, exportação), veja como funciona a transcrição com IA. Se você quer a história pré-neural começando com HMMs e MFCCs, como funciona o reconhecimento de fala cobre todo o arco.

O que ainda limita o ASR moderno

Melhorias de arquitetura têm um teto. Algumas limitações vêm da física e dos dados, não do design do modelo.

Fala sobreposta é genuinamente difícil: duas vozes ocupam os mesmos bins tempo-frequência, e separá-las exige modelos de separação de fontes (como o Conv-TasNet) rodando antes do modelo de ASR, o que adiciona latência e complexidade.

Idiomas com poucos recursos continuam mal atendidos. Um idioma com apenas algumas centenas de horas de dados de treinamento rotulados produzirá um modelo com WER uma ordem de grandeza maior do que um idioma com muitos recursos, independentemente da sofisticação da arquitetura. Este é um motivo pelo qual a IA tem dificuldade com idiomas de poucos recursos.

Música de fundo é categoricamente diferente de ruído de fundo. Ruído consistente pode ser filtrado com detecção de atividade de voz. A música ocupa faixas de frequência que se sobrepõem às da fala, então o modelo frequentemente alucina letras ou palavras quando há música presente. Este é um modo de falha conhecido especificamente do Whisper.

Modelos proprietários como o Deepgram Nova otimizam diferentes trade-offs (latência, streaming, adaptação de domínio) usando arquiteturas que suas equipes não publicaram em detalhes. Para uma análise do que o Nova-3 faz de diferente, veja Deepgram Nova-3 explicado.

Para trabalhos que precisam de transcrições limpas rapidamente, sem executar sua própria infraestrutura de ASR, o ConvertAudioToText cuida de todo o pipeline para você, incluindo diarização e exportação para SRT, VTT e texto simples.

Perguntas frequentes

Qual é a diferença entre CTC e seq2seq no reconhecimento de fala?

O CTC prevê um token em cada quadro de áudio de forma independente e depois colapsa a sequência. É rápido e compatível com streaming, mas não toma decisões em nível de modelo de linguagem durante a decodificação. O seq2seq (como o Whisper) usa um decodificador autorregressivo com cross-attention ao codificador: ele gera cada token condicionado a todos os tokens anteriores e a todas as evidências do áudio juntas. Isso produz um texto mais coerente, especialmente em vocabulário específico de domínio, mas exige processar todo o áudio antes de gerar a saída.

Por que os modelos modernos de ASR não usam fonemas como etapa intermediária?

Os sistemas híbridos mais antigos usavam fonemas porque o modelo acústico e o modelo de linguagem eram treinados separadamente: o modelo acústico precisava de um espaço de saída fixo (fonemas) que o modelo de linguagem pudesse consumir. Os modelos end-to-end aprendem todo o mapeamento de áudio para texto em uma única passagem, então geram tokens de subpalavra (unidades BPE) diretamente. O modelo aprende implicitamente quaisquer representações intermediárias que sejam úteis, e elas não são necessariamente fonemas.

Como o treinamento multitarefa melhora o reconhecimento de fala?

Treinar um modelo simultaneamente em transcrição, tradução, identificação de idioma e previsão de marcações de tempo força-o a construir representações de áudio que generalizam entre as tarefas. O Whisper, por exemplo, condiciona as quatro tarefas por meio de tokens especiais de prefixo adicionados ao início do decodificador: os mesmos pesos do codificador precisam capturar detalhes acústicos suficientes para dar suporte a todas elas. O resultado é um modelo com melhor robustez a sotaques e idiomas do que um modelo treinado apenas para transcrição com os mesmos dados.

Qual é a precisão do reconhecimento de fala por IA em áudio do mundo real em 2026?

Em fala lida (LibriSpeech test-clean), os modelos líderes alcançam cerca de 2-3% de WER. Em áudio do mundo real, incluindo reuniões, podcasts e chamadas telefônicas, o WER normalmente varia de 8-15%, dependendo do ruído, dos falantes sobrepostos e da diversidade de sotaques. Líderes do ranking em meados de 2026, como o Transcribe da Cohere, relatam WER médio de 5,42% em conjuntos de teste mistos, embora esses números reflitam a composição do ranking e mudem à medida que novos modelos são avaliados.

O que torna a arquitetura Conformer diferente de um transformer padrão para ASR?

Um transformer padrão usa self-attention entre todas as posições para capturar o contexto global. O Conformer, publicado pelo Google na INTERSPEECH 2020, adiciona um módulo de convolução dentro de cada bloco transformer, entre dois módulos feed-forward. Isso permite que cada bloco capture tanto padrões acústicos locais (via convolução) quanto dependências de longo alcance (via atenção) simultaneamente. Como a fala tem forte estrutura local (as características acústicas são altamente correlacionadas com os quadros vizinhos), essa combinação supera um transformer puro para ASR na maioria dos benchmarks.

Fontes

• OpenAI Whisper GitHub (model card, arquitetura, dados de treinamento): https://github.com/openai/whisper
• Hugging Face: model card openai/whisper-large-v3: https://huggingface.co/openai/whisper-large-v3
• Google Research: Conformer (INTERSPEECH 2020): https://research.google/pubs/conformer-convolution-augmented-transformer-for-speech-recognition/
• Hugging Face Audio Course, arquiteturas Seq2Seq: https://huggingface.co/learn/audio-course/chapter3/seq2seq
• Hugging Face Transformers: documentação do wav2vec2: https://huggingface.co/docs/transformers/en/model_doc/wav2vec2
• pyannote.ai: O que é diarização de falantes: https://www.pyannote.ai/blog/what-is-speaker-diarization
• Hugging Face Open ASR Leaderboard (instantâneo de meados de 2026): https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
• AssemblyAI: Por que a taxa de erro de palavra está quebrada (2026): https://www.assemblyai.com/blog/word-error-rate-is-broken