Como o reconhecimento de fala funciona: uma história de 1952 até hoje

O reconhecimento de fala funciona convertendo uma onda sonora em uma representação numérica do seu conteúdo de frequência e, em seguida, usando um modelo treinado para prever quais palavras foram ditas. Essa resposta de uma frase é precisa hoje, mas pula setenta anos de desvios e alguns avanços que transformaram o que o campo achava possível.

Este post traça o arco completo, desde as primeiras máquinas que reconheciam dígitos falados em 1952 até os modelos transformer que agora igualam a precisão humana em áudio limpo. Os detalhes de engenharia do pipeline neural atual estão no nosso post irmão sobre como o reconhecimento de fala com IA funciona, e o pipeline do lado do produto (upload, VAD, diarização, formatação) está em como a transcrição com IA funciona. Este post é a base histórica sobre a qual ambos se constroem.

Os anos 1950: Audrey e um começo bem limitado

O Audrey dos Bell Labs, construído em 1952, é reconhecido como o primeiro sistema de reconhecimento de fala. Ele ocupava um rack de relés de seis pés e conseguia reconhecer os dígitos falados de zero a nove. Isso parece modesto, mas o Audrey funcionava analisando os formantes (picos de frequência ressonante) de cada dígito falado e comparando-os com modelos armazenados.

O Audrey alcançava até 97 por cento de precisão apenas se o falante fosse homem, pausasse pelo menos 350 milissegundos entre cada dígito e a máquina tivesse sido calibrada para a voz daquele falante. Funcionava porque o reconhecimento de dígitos é um problema de conjunto fechado com apenas dez respostas possíveis. A fala natural, com seu grande vocabulário e fluxo contínuo, era um problema diferente.

Uma década depois, a IBM apresentou o Shoebox na Feira Mundial de Seattle em 1962. Ele reconhecia 16 palavras: os dez dígitos mais seis comandos aritméticos como "mais" e "total". A máquina podia aceitar um problema aritmético falado e repassar o cálculo para uma calculadora. Ainda era correspondência de padrões, ainda dolorosamente limitado.

Os anos 1970: DARPA, busca em feixe e a barreira das 1.000 palavras

Os anos 1970 trouxeram dinheiro do governo e um alvo mais difícil. O programa Speech Understanding Research (SUR) da DARPA, que rodou de 1971 a 1976, financiou um pequeno grupo de equipes de pesquisa para perseguir um objetivo concreto: um sistema que pudesse entender fala contínua com um vocabulário de pelo menos 1.000 palavras.

O sistema Harpy da Carnegie Mellon, concluído em 1976, atingiu essa meta. O Harpy conhecia 1.011 palavras e introduziu a busca em feixe, uma estratégia de decodificação que poda o espaço de sequências de palavras candidatas enquanto processa o áudio, em vez de avaliar exaustivamente todas as possibilidades. A busca em feixe ainda é usada em decodificadores modernos.

O Hearsay, outro sistema da CMU do mesmo período, adotou uma abordagem diferente: "fontes de conhecimento" em camadas que passavam hipóteses de baixo para cima, da acústica aos fonemas, depois às palavras e à sintaxe. Era arquiteturalmente interessante, mas frágil, e perdeu para o Harpy no benchmark. A lição, que o campo continuava reaprendendo, era que estrutura elegante importa menos do que encontrar algo que reduza erros de forma confiável.

Os anos 1980: Modelos Ocultos de Markov mudam tudo

A verdadeira base estatística do reconhecimento de fala moderno veio dos Modelos Ocultos de Markov (HMMs). Lenny Baum desenvolveu a matemática subjacente em Princeton no início dos anos 1970. James e Janet Baker aplicaram HMMs à fala na Carnegie Mellon em seus trabalhos de doutorado de 1974, construindo o sistema Dragon que acabaria se tornando um produto comercial.

HMMs foram uma mudança conceitual, do casamento de padrões para a modelagem probabilística. Em vez de armazenar uma impressão digital fixa para cada palavra e medir a distância até ela, um HMM modela a fala como uma sequência de estados ocultos (os fonemas sendo produzidos) com saídas observáveis (as características acústicas medidas do sinal). Diante das características observadas, você pergunta: qual sequência de estados ocultos provavelmente gerou isso?

Isso importou por três motivos. A mesma palavra soa um pouco diferente toda vez que você a diz, e os HMMs lidam com essa variação probabilisticamente, em vez de exigir concordância rígida com um modelo. Os HMMs também se compõem: você pode encadear modelos de nível de fonema em modelos de nível de palavra, e modelos de nível de palavra em modelos de nível de frase. E os HMMs podem ser treinados a partir de dados, em vez de serem projetados manualmente, então mais dados produziam modelos melhores.

No final dos anos 1980, HMMs foram combinados com Modelos de Mistura Gaussiana (GMMs) para produzir o modelo acústico no que se tornou a arquitetura padrão: um sistema GMM-HMM com um modelo de linguagem n-gram separado, que reclassificava transcrições candidatas pela probabilidade da sequência de palavras em texto geral.

Os anos 1990: Chega o Ditado Comercial

O framework GMM-HMM era bom o suficiente para construir produtos comerciais. O Dragon Dictate foi lançado em 1990 por $9.000, com um dicionário de 80.000 palavras. Era fala discreta: você precisava pausar entre as palavras. O IBM ViaVoice (1996) melhorou a usabilidade com modelos independentes do falante.

Então, em 1997, o Dragon NaturallySpeaking foi lançado por $150 e suportava fala contínua, reconhecendo cerca de 100 palavras por minuto sem pausas treinadas. Esse foi o primeiro sistema que a maioria das pessoas realmente conseguiu usar. Ele ainda exigia uma sessão de treinamento do falante para se adaptar à sua voz, e ainda tinha dificuldades com sotaques, ruído de fundo e vocabulário específico de domínio. Mas provou que o ditado de desktop era viável.

Minha visão: os sistemas dos anos 1990 eram impressionantes dadas as limitações da época, mas eram frágeis de um jeito que os tornava exaustivos de usar. Se você saísse de um ambiente silencioso ou falasse algo fora dos padrões esperados, a precisão despencava. A maquinaria estatística estava certa, os dados e o poder computacional é que ainda não eram suficientes.

Os anos 2000: escala, redes neurais e a aposta do Google

O Google Voice Search, lançado em 2008, mostrou que grandes conjuntos de dados e computação distribuída podiam produzir modelos que lidavam com sotaques e ruído melhor do que qualquer quantidade de ajuste manual em um conjunto de dados pequeno. Os modelos subjacentes ainda eram em grande parte GMM-HMM, mas os dados de treinamento eram ordens de magnitude maiores do que os usados por pesquisadores acadêmicos.

Enquanto isso, Geoffrey Hinton e colaboradores demonstravam que redes neurais profundas podiam superar os GMMs na modelagem acústica. O artigo marco de 2012, "Deep Neural Networks for Acoustic Modeling in Speech Recognition", coescrito por Hinton, Li Deng, Dong Yu, George Dahl e outros da Microsoft, IBM, Google e Toronto, mostrou que substituir o GMM por uma rede neural profunda em um pipeline HMM padrão produzia grandes ganhos de precisão em vários benchmarks. O híbrido DNN-HMM reduziu drasticamente as taxas de erro em sistemas que mal tinham melhorado por anos.

O campo mudou quase imediatamente. Em poucos anos, todo grande sistema comercial de ASR tinha trocado os modelos acústicos GMM por DNNs.

A era 2014-2017: aprendizado de ponta a ponta

O híbrido DNN-HMM era melhor, mas ainda era um sistema de três componentes: modelo acústico, dicionário de pronúncia e modelo de linguagem. Cada peça era treinada separadamente e precisava se encaixar na hora da inferência. Pesquisadores começaram a se perguntar se dava para treinar um único modelo que mapeasse áudio diretamente para texto.

Duas abordagens surgiram quase ao mesmo tempo.

Connectionist Temporal Classification (CTC), introduzida por Alex Graves em 2006, mas ganhando força em ASR por volta de 2014, ofereceu um jeito de treinar modelos sequência a sequência sem precisar de pares de entrada e saída alinhados. O Deep Speech da Baidu usou uma RNN bidirecional com perda CTC para quebrar o benchmark Switchboard Hub5'00 em 2014, sem depender de dicionários fonéticos tradicionais ou features feitas à mão.

Modelos encoder-decoder baseados em atenção vieram da tradução automática. O trabalho de Chorowski, Bahdanau e colegas em 2015 mostrou que atenção suave sobre a sequência acústica podia substituir o alinhamento explícito imposto pelos HMMs. O modelo aprendia a se alinhar sozinho.

Ambas as abordagens eram "end-to-end" no sentido de que uma única rede neural aprendia tudo a partir dos dados, padrões acústicos e padrões de linguagem juntos, sem precisar de componentes separados ou dicionários de pronúncia.

2017 e o Transformer

O artigo de 2017 "Attention Is All You Need", de Vaswani e colegas do Google, introduziu a arquitetura Transformer para modelagem de sequências. Ele substituiu as redes neurais recorrentes que dominavam NLP e ASR por camadas de self-attention capazes de modelar relações entre quaisquer duas posições numa sequência, sem o gargalo sequencial das RNNs.

Transformers conseguiam processar a sequência inteira de entrada em paralelo, modelar dependências de longo alcance com eficiência e escalar com mais dados e poder computacional de um jeito que as RNNs não acompanhavam. Por volta de 2019 e 2020, sistemas de ASR baseados em Transformer já estavam alcançando os melhores resultados nos benchmarks padrão.

O wav2vec 2.0 do Facebook AI (2020) mostrou que transformers também podiam ser pré-treinados em áudio não rotulado de forma autossupervisionada e, depois, ajustados com pequenas quantidades de dados transcritos. Treinar com 53.000 horas de áudio não rotulado e ajustar com apenas dez minutos de dados rotulados produziu taxas de erro de palavra que, com abordagens anteriores, exigiam milhares de horas rotuladas. Isso foi importante para idiomas com poucos recursos e pouca transcrição disponível, um problema que abordamos em detalhes no nosso post sobre por que a IA tem dificuldade com idiomas de baixos recursos.

De 2022 até agora: Whisper e o retorno da escala

A OpenAI lançou o Whisper em 2022. O modelo é um transformer encoder-decoder padrão, mas seus dados de treinamento eram muito maiores e mais variados do que os conjuntos anteriores: 680.000 horas de áudio com transcrições, incluindo 563.000 horas em inglês e 117.000 horas em outros 96 idiomas, coletados da web.

O áudio é convertido em um espectrograma log-mel de 80 canais, calculado em janelas de 25 milissegundos a 16.000 Hz antes de entrar no encoder. O decoder gera tokens de texto de forma autorregressiva. Não há nada de exótico na arquitetura; a escala dos dados de treinamento foi o que fez a diferença.

Ferramenta de upload e transcrição de áudio ConvertAudioToText

O Whisper Large-v3 atinge cerca de 3 por cento de taxa de erro de palavra em benchmarks de fala limpa e lida. A precisão no mundo real varia com a qualidade do áudio: em gravações limpas, pode ficar abaixo de 5 por cento de WER, enquanto áudio ruidoso ou conversacional com vários falantes pode elevar as taxas de erro para a faixa de 15 a 30 por cento. Para comparação, transcritores humanos normalmente alcançam de 2 a 4 por cento de WER em boas condições e de 10 a 15 por cento em ambientes ruidosos.

Para uma explicação básica do que significa WER e por que pode enganar você, veja nosso post sobre precisão de transcrição explicada.

Por que levou 70 anos

Três restrições seguravam o campo, e elas foram resolvidas mais ou menos nesta ordem.

Dados. O Whisper foi treinado com 680 mil horas. O Dragon NaturallySpeaking, em 1997, treinou com muito menos, e os modelos que ele conseguia aprender eram proporcionalmente mais rasos. Coletar e rotular áudio em escala era caro; a web acabou fornecendo isso de graça.

Computação. Treinar um transformer com 680 mil horas exige clusters de GPUs. O avanço do DNN-HMM em 2012 coincidiu com as GPUs se tornando acessíveis o bastante para rodar redes profundas com orçamentos de pesquisa. Antes disso, o poder computacional não estava disponível.

Algoritmos. Os HMMs eram a estrutura certa para os dados e a computação disponíveis nos anos 1980. Redes profundas eram teoricamente atraentes antes, mas na prática não davam para treinar no hardware e nos tamanhos de dataset da época. Os transformers resolveram os problemas de paralelismo e dependências de longo alcance que tornavam os RNNs difíceis de treinar em escala.

A lição: cada geração de pesquisadores trabalhou perto do limite do que suas restrições permitiam. O time da Audrey, em 1952, fez algo difícil com correspondência de padrões e circuitos analógicos. O trabalho com HMMs nos anos 1980 foi estatisticamente rigoroso e durável. A mudança para o deep learning em 2012 foi rápida porque as ideias tinham amadurecido e a computação tinha alcançado. Visto dessa forma, a era atual dos transformers parece menos mágica e mais a próxima iteração do mesmo padrão.

Para ver o reconhecimento ponta a ponta moderno na prática, a ferramenta de áudio para texto na ConvertAudioToText processa arquivos pelo pipeline atual.

FAQ

Qual foi o primeiro sistema de reconhecimento de fala?

O Bell Labs construiu a Audrey em 1952. Ela conseguia reconhecer os dígitos de zero a nove, mas apenas de um único falante sob condições controladas. Ocupava um rack de relés de seis pés e funcionava comparando as frequências de formantes de cada dígito com modelos armazenados.

O que são Modelos Ocultos de Markov e por que eles foram importantes para o reconhecimento de fala?

Os Modelos Ocultos de Markov (HMMs) modelam a fala como uma sequência de estados ocultos (fonemas) que produzem saídas observáveis (características acústicas). Em vez de comparar o áudio com um modelo fixo, os HMMs calculam a sequência mais provável de fonemas que poderia ter gerado o áudio observado. Essa abordagem probabilística lidava com a variação natural na pronúncia e escalava para vocabulários grandes de uma forma que as abordagens anteriores de correspondência de modelos não conseguiam.

O que mudou em 2012 para tornar o reconhecimento de fala tão melhor?

O avanço de 2012 foi substituir o componente acústico de Modelo de Mistura Gaussiana (GMM) no pipeline padrão GMM-HMM por uma rede neural profunda. Um artigo de Hinton, Deng, Yu, Dahl e colaboradores da Microsoft, Google, IBM e da Universidade de Toronto demonstrou que os sistemas híbridos DNN-HMM superavam substancialmente as linhas de base GMM-HMM em vários benchmarks, o que acelerou a adoção em toda a indústria.

O que significa "ponta a ponta" no reconhecimento de fala?

Um sistema ponta a ponta é uma única rede neural treinada para mapear áudio diretamente para texto, sem modelos acústicos separados, dicionários de pronúncia ou modelos de linguagem que precisam ser treinados e combinados individualmente. O Deep Speech da Baidu (2014) foi um exemplo inicial de alto perfil usando a perda CTC. O Whisper é um exemplo mais recente usando uma arquitetura de transformer codificador-decodificador. As principais vantagens são pipelines de treinamento mais simples e a capacidade de otimizar tudo em conjunto para o transcrito final.

Qual é a precisão do reconhecimento de fala moderno?

Em áudio limpo, bem gravado e com um único falante, os modelos mais avançados chegam a menos de 5 por cento de taxa de erro por palavra (WER). Já em áudio com ruído, conversacional ou com vários falantes, o WER costuma ficar entre 15 e 30 por cento. Transcritores humanos atingem cerca de 2 a 4 por cento de WER em boas condições e caem para 10 a 15 por cento em áudio difícil. A precisão depende principalmente da qualidade do áudio: ruído de fundo, falantes sobrepostos e baixa taxa de bits de gravação são os principais fatores que elevam as taxas de erro, mesmo com os melhores modelos.

Fontes

• Anúncio e detalhes técnicos do OpenAI Whisper: https://openai.com/index/whisper/
• Artigo técnico do Whisper via resumo do OpenWhispr: https://openwhispr.com/blog/how-whisper-ai-works
• História dos marcos do reconhecimento de fala (Milvus): https://milvus.io/ai-quick-reference/what-is-the-history-of-speech-recognition-technology
• História do ASR (Descript/Medium): https://medium.com/descript/a-brief-history-of-asr-automatic-speech-recognition-b8f338d4c0e5
• Audrey e os primeiros sistemas, Computer History Museum: https://computerhistory.org/blog/audrey-alexa-hal-and-more/
• Janet M. Baker na Wikipedia (origens do HMM/Dragon): https://en.wikipedia.org/wiki/Janet_M._Baker
• James K. Baker na Wikipedia: https://en.wikipedia.org/wiki/James_K._Baker
• Artigo de 2012 sobre DNN-HMM (Hinton et al.), IEEE Signal Processing Magazine: https://www.cs.toronto.edu/~gdahl/papers/deepSpeechReviewSPM2012.pdf
• CTC, Wikipedia: https://en.wikipedia.org/wiki/Connectionist_temporal_classification
• Artigo do wav2vec 2.0 (arXiv): https://arxiv.org/pdf/2006.11477
• "Attention Is All You Need" (arXiv): https://arxiv.org/abs/1706.03762
• Benchmarks de WER e discussão sobre precisão (AssemblyAI): https://www.assemblyai.com/blog/word-error-rate-is-broken
• Programa DARPA SUR e Harpy (documento histórico da CMU): https://rr.cs.cmu.edu/SUR.pdf
• Taxa de amostragem e Nyquist para ASR (Picovoice): https://picovoice.ai/blog/audio-sampling-and-sample-rate/