Redes Neurais e Transcrição: Como os Modelos Aprendem a Ouvir

A precisão moderna da transcrição é construída sobre redes neurais. Os ganhos entre 2015 e hoje vieram quase inteiramente de arquiteturas melhores e conjuntos de treinamento maiores, não de regras artesanais engenhosas empilhadas por cima. Este post mapeia os conceitos centrais de redes neurais para o que realmente acontece dentro de um modelo de transcrição.

O Que É uma Rede Neural, no Nível Mínimo Útil

Uma rede neural é uma pilha de funções matemáticas com muitos parâmetros ajustáveis. Você a treina mostrando milhões de pares de entrada e saída, ajustando os parâmetros cada vez que a rede produz uma saída errada. Depois de treinamento suficiente, a rede generaliza: ela produz saídas corretas para entradas que nunca viu.

No reconhecimento de fala, as entradas são representações do áudio e as saídas são tokens de texto. Essa é toda a estrutura. As perguntas interessantes dizem respeito ao formato da entrada, ao que as diferentes camadas realmente aprendem e por que os dados de treinamento determinam o teto da precisão.

O Que a Rede Vê como Entrada

As redes modernas de reconhecimento de fala não operam sobre amostras brutas de áudio. Elas operam sobre espectrogramas: imagens 2D que mostram como a energia das frequências é distribuída ao longo do tempo.

O Whisper Large-v3 recebe um espectrograma log-mel com 128 canais de frequência como entrada, um quadro a cada 10 milissegundos. Esse é um aumento deliberado em relação aos 80 canais usados nas versões anteriores do Whisper. A atualização dá ao modelo uma resolução de frequência mais refinada, o que ajuda especialmente com línguas tonais e vogais muito próximas entre si.

Nosso post sobre como funciona o reconhecimento de fala aborda a conversão em espectrograma com mais detalhes. Para este post, o ponto principal é que a rede vê algo como uma fotografia do áudio, não o áudio em si.

Camada por Camada: O Que o Modelo Aprende

Redes neurais profundas desenvolvem representações internas que se tornam progressivamente mais abstratas à medida que você avança da primeira camada até a última. No reconhecimento de fala, o padrão segue uma hierarquia aproximada de três estágios.

Camadas Iniciais: Características Acústicas

As primeiras camadas detectam padrões acústicos de baixo nível. Uma consoante sonora tem uma assinatura espectral diferente de uma surda; uma vogal difere de uma fricativa. Essas distinções correspondem aproximadamente às distinções que um foneticista faria, embora o modelo nunca tenha sido instruído a procurá-las explicitamente.

Pesquisas que mapeiam as representações internas do Whisper para dados neurais humanos mostram que as camadas iniciais se correlacionam mais fortemente com o processamento acústico relacionado ao início dos sons, o que é consistente com o que sabemos sobre o córtex auditivo inicial.

Camadas Intermediárias: Padrões Fonéticos e Silábicos

As camadas intermediárias combinam características de baixo nível em unidades de nível mais alto: fonemas, sílabas, pequenos fragmentos de palavras. Nesse estágio, a rede já comprimiu o sinal acústico bruto em uma representação que captura o conteúdo linguístico enquanto descarta detalhes específicos do falante, como tom de voz e tamanho do trato vocal.

É também aqui que o modelo aprende a ser invariante a fatores que não deveriam afetar a transcrição: qualidade da gravação, variação de sotaque, ruído de fundo (dentro de certos limites). O modelo não aprende nada disso explicitamente; o sinal de treinamento é simplesmente "produzir o texto correto", então o modelo descobre as invariâncias que o ajudam a fazer isso. Nosso post sobre modelos acústicos versus modelos de linguagem cobre a divisão histórica dessas tarefas entre sistemas separados.

Camadas Finais: Contexto Linguístico

As camadas finais do codificador e as camadas do decodificador são onde a modelagem de linguagem acontece. O modelo aprende que certas sequências de palavras são mais prováveis do que outras, que construções gramaticais são comuns e as agramaticais não são, e que palavras específicas tendem a aparecer em contextos específicos.

É isso que permite ao modelo resolver frases acusticamente ambíguas. A frase "recognize speech" soa quase idêntica a "wreck a nice beach" quando falada rapidamente. A capacidade de modelagem de linguagem escolhe a interpretação correta com base no contexto ao redor. O exemplo é uma piada recorrente na área desde os anos 1960, quando o engenheiro Manfred Schroeder descobriu que seu vocoder continuava renderizando sua frase de teste dessa forma.

A Arquitetura Transformer

Quase todos os modelos competitivos de reconhecimento de fala hoje usam um transformer. A arquitetura foi introduzida em 2017 no artigo "Attention Is All You Need" (Vaswani et al.), para tradução automática. Ela acabou generalizando bem para quase todas as tarefas de modelagem de sequências, incluindo a fala.

O mecanismo central é a autoatenção (self-attention). Cada posição da sequência de entrada pode atentar para todas as outras posições, com pesos aprendidos que determinam quanto cada posição "se importa" com cada outra. Para áudio, isso significa que uma palavra no segundo 12 pode usar diretamente o contexto do segundo 4 sem precisar propagar informação por cada etapa intermediária.

As redes recorrentes mais antigas (RNNs e LSTMs) processavam sequências uma etapa por vez e tinham dificuldade em reter informações ao longo de longos intervalos. Os transformers lidam com dependências de longo alcance de forma mais natural, o que importa porque a interpretação correta de uma palavra em uma transcrição frequentemente depende de contexto de muitos segundos antes.

Estrutura Codificador-Decodificador

No reconhecimento de fala, o arranjo transformer padrão é codificador-decodificador. O codificador lê o espectrograma completo e produz uma sequência de vetores de alta dimensionalidade, um por quadro de tempo. O decodificador então gera tokens de texto um por vez, atentando para a saída do codificador a cada etapa.

O Whisper Large-v3 usa essa estrutura. O mesmo vale para a maioria dos modelos competitivos de reconhecimento de fala de código aberto. Nosso post sobre Whisper Large-v3 explicado aborda a arquitetura específica com mais detalhes.

Como o Treinamento Funciona na Prática

Você começa com parâmetros aleatórios. O modelo produz nonsense. Você calcula o erro entre a saída do modelo e a transcrição correta, propaga esse erro de trás para frente pela rede (backpropagation) e ajusta cada parâmetro ligeiramente na direção que reduz o erro. Repita esse processo bilhões de vezes ao longo de milhões de exemplos de treinamento.

A mecânica envolve lotes (muitos exemplos de uma vez, por eficiência), cronogramas de taxa de aprendizado (com quanta agressividade você atualiza os parâmetros ao longo do tempo) e técnicas de regularização para evitar overfitting. Para um modelo do tamanho do Whisper Large-v3, o treinamento roda por dias a semanas em centenas de GPUs.

Por Que os Dados de Treinamento Determinam o Teto

O modelo só consegue aprender padrões que existem nos seus dados de treinamento. Se os dados de treinamento forem todos de inglês gravado em estúdio, o modelo terá desempenho inferior em áudio telefônico ou falantes não nativos. Se o conjunto de treinamento não tiver vocabulário médico, o modelo escreverá errado nomes de medicamentos.

O Whisper Large-v3 foi treinado com aproximadamente 5 milhões de horas de áudio no total: cerca de 1 milhão de horas de áudio fracamente rotulado e 4 milhões de horas adicionais de áudio pseudorotulado, geradas ao rodar o Whisper Large-v2 sobre conteúdo não rotulado. Isso é significativamente mais do que as 680.000 horas usadas para treinar a versão original do Whisper.

O Deepgram Nova-3, lançado no início de 2025, foi treinado com um conjunto de dados proprietário que abrange mais de 100 domínios e dezenas de bilhões de tokens. A escala e a diversidade de domínios dos dados de treinamento são uma das principais razões pelas quais modelos de laboratórios bem financiados superam alternativas menores em condições reais.

O fine-tuning é a solução prática quando um modelo geral tem desempenho inferior no seu domínio. Você pega um modelo pré-treinado e continua o treinamento com uma pequena quantidade de dados específicos do domínio: algumas horas de gravações médicas, depoimentos jurídicos ou podcasts técnicos. Como o modelo já conhece a linguagem e a estrutura acústica, ele só precisa ajustar os parâmetros que importam para o seu vocabulário. Veja nosso post sobre precisão de transcrição explicada para saber mais sobre como a incompatibilidade de domínio aparece nas taxas de erro.

O Que Acontece no Momento da Inferência

Uma vez treinado, usar o modelo é simples. Você fornece o áudio, o modelo produz texto.

O processo de inferência:

1. O áudio é convertido em um espectrograma log-mel.
2. O codificador processa o espectrograma e produz uma sequência de vetores ocultos.
3. O decodificador gera tokens de texto um por vez, condicionando cada novo token à saída do codificador e a todos os tokens gerados anteriormente.
4. A geração para quando o decodificador produz um token de fim de sequência.

Para um clipe de 30 segundos, isso leva uma fração de segundo em hardware moderno. Áudios mais longos são processados em blocos de 30 segundos e depois unidos.

Por Que os Sistemas End-to-End Superaram os Híbridos

Até cerca de 2017, os sistemas de reconhecimento de fala eram híbridos: uma rede neural estimava probabilidades de fonemas, um dicionário de pronúncia mapeava fonemas para palavras, um modelo de linguagem separado pontuava sequências de palavras e um algoritmo de busca em feixe (beam search) combinava tudo.

Os sistemas end-to-end condensaram tudo isso em uma única rede treinada diretamente com pares de áudio e texto. O objetivo de treinamento é simplesmente "produzir o texto certo a partir do áudio", e o modelo aprende qualquer estrutura interna que sirva a esse objetivo.

Três razões concretas pelas quais isso funciona melhor:

O modelo pode usar informações que os projetistas de sistemas híbridos não anteciparam. Características prosódicas como entonação, ênfase e ritmo podem desambiguar palavras que soam idênticas isoladas. Sistemas híbridos raramente usavam prosódia; modelos end-to-end a captam incidentalmente durante o treinamento.

A otimização conjunta é mais eficiente do que ajustar componentes separados. Um sistema híbrido é limitado pelo seu módulo mais fraco. Um modelo end-to-end pode aprender a compensar fraquezas de uma parte com pontos fortes de outra.

A transferência entre idiomas é natural. Um único modelo Whisper lida com 99 idiomas porque representações internas compartilhadas ajudam em todos eles. Sistemas híbridos precisavam de componentes amplamente separados para cada idioma.

Para saber mais sobre as escolhas de arquitetura, veja nosso post sobre como funciona o reconhecimento de fala por IA, que cobre as famílias codificador-decodificador e CTC em profundidade técnica.

Onde as Redes Neurais Ainda Falham

Redes neurais não são mágicas. Elas têm modos de falha sistemáticos que vêm diretamente do processo de treinamento.

Vocabulário de cauda longa. Palavras que apareceram raramente nos dados de treinamento são escritas errado de forma consistente: nomes de marcas, jargão técnico, nomes próprios incomuns. O modelo atribui baixa probabilidade a tokens raros porque eles quase nunca apareceram em transcrições corretas durante o treinamento. Nosso post sobre por que a transcrição comete erros cobre isso em detalhes.

Mudança de distribuição. Áudio que difere significativamente da distribuição de treinamento, seja por condições incomuns de gravação, sotaque forte ou vocabulário novo de algum domínio, produz resultados piores. Isso não é um bug; é uma consequência direta de como o treinamento funciona.

Alucinação. O decodificador pode produzir texto plausível que não corresponde a nada no áudio, especialmente durante silêncio ou ruído de fundo. O modelo tem um viés forte para produzir texto porque seus dados de treinamento quase sempre continham fala. A detecção de atividade de voz (VAD), que filtra segmentos sem fala antes que cheguem ao modelo de transcrição, é a mitigação padrão. Nosso post sobre como funciona o VAD explica a técnica.

Confusão de falantes. Os modelos de transcrição padrão produzem um único fluxo de texto indiferenciado. Separar os falantes exige uma etapa adicional chamada diarização. Nosso post sobre diarização de falantes explicada cobre como isso funciona separadamente da transcrição básica.

Minha opinião: todos os modos de falha listados acima têm mitigações conhecidas, e os melhores sistemas em produção aplicam várias delas em combinação. Mas entender a causa raiz de cada modo de falha é o que indica qual mitigação adotar — e quando ela não vai ajudar.

Uma Nota Sobre o Pipeline do Produto

Este post foca na rede neural em si. Se você quer entender como funciona todo o pipeline do produto, do upload à transcrição formatada — incluindo VAD, diarização, restauração de pontuação e formatação da saída —, veja nosso post sobre como funciona a transcrição por IA. Os dois posts foram pensados para serem lidos juntos.

Se você quiser experimentar a saída de um sistema de transcrição neural em produção com o seu próprio áudio, o ConvertAudioToText roda o Whisper Large-v3 em arquivos enviados, sem necessidade de cadastro para clipes curtos.

Fontes

• Cartão do modelo OpenAI Whisper Large-v3: https://huggingface.co/openai/whisper-large-v3
• Vaswani et al., "Attention Is All You Need" (2017): https://arxiv.org/abs/1706.03762
• Anúncio do Deepgram Nova-3: https://deepgram.com/learn/introducing-nova-3-speech-to-text-api
• WhisperX: Time-Accurate Speech Transcription of Long-Form Audio: https://arxiv.org/pdf/2303.00747
• Calm-Whisper: Reduce Whisper Hallucination On Non-Speech: https://arxiv.org/html/2505.12969v1
• Language Log sobre "Wreck a Nice Beach": https://languagelog.ldc.upenn.edu/nll/?p=13828

FAQ

Qual entrada uma rede neural realmente recebe do áudio?

Ela recebe um espectrograma, não amostras brutas da forma de onda. Para a maioria dos modelos modernos, isso significa um espectrograma log-mel: uma representação 2D de como a energia das frequências é distribuída ao longo do tempo. O Whisper Large-v3 usa 128 canais de frequência mel por quadro de tempo, uma atualização em relação aos 80 canais usados nas versões anteriores do Whisper.

Por que as redes neurais end-to-end substituíram os sistemas híbridos de ASR?

Sistemas híbridos mais antigos tinham componentes separados: uma rede neural para probabilidades de fonemas, um dicionário de pronúncia, um modelo de linguagem e um decodificador de busca em feixe. Cada um tinha de ser ajustado independentemente. Os modelos end-to-end condensaram tudo isso em uma única rede treinada diretamente com pares de áudio e texto. O treinamento conjunto permite que o modelo aprenda estratégias de compensação que componentes separados não conseguem, e um único modelo Whisper pode atender 99 idiomas porque compartilha representações internas entre todos eles.

Por que um modelo de transcrição às vezes produz texto que nunca foi dito?

Isso é alucinação: o decodificador gera texto plausível mesmo quando o áudio contém apenas silêncio, ruído de fundo ou som incompreensível. O modelo aprendeu com áudio que quase sempre contém fala, então tem um viés forte para produzir texto. A detecção de atividade de voz (VAD) mitiga isso filtrando segmentos sem fala antes que cheguem ao modelo de transcrição.

O que é fine-tuning e quando ele ajuda?

Fine-tuning significa pegar um modelo geral já treinado e continuar o treinamento com um pequeno conjunto de dados de um domínio específico, como gravações médicas ou depoimentos jurídicos. Como o modelo já conhece a linguagem e a estrutura acústica, ele precisa apenas de algumas horas de áudio específico do domínio para se inclinar ao vocabulário e às formulações corretas. O fine-tuning é mais útil para vocabulário técnico que apareceu raramente nos dados de treinamento originais.