Como funciona a detecção de atividade de voz (VAD) na transcrição

O que o VAD decide

A detecção de atividade de voz responde a uma pergunta para cada pequena fatia de áudio: há fala acontecendo aqui ou não? A resposta determina quais quadros chegam ao modelo de transcrição e quais são descartados. Errar nisso significa alucinar texto sobre silêncio ou cortar o início de palavras reais.

Por que o VAD existe no pipeline

Um modelo de transcrição recebe áudio e produz texto. Ele não tem um conceito intrínseco de "ninguém está falando". Alimente-o com silêncio, ruído de fundo ou música de espera, e ele ainda tentará produzir texto, porque foi treinado para isso. O VAD é a porta que fica a montante e decide o que chega ao modelo.

Três efeitos concretos decorrem dessa porta.

Ele impede alucinação no silêncio

O Whisper Large-v3 tem uma tendência bem documentada de gerar texto fantasma durante áudio silencioso ou sem fala. Como o modelo foi treinado com dados da internet dominados por vídeos do YouTube, ele aprendeu a associar áudio a fala transcritível. Quando encontra silêncio, recorre aos finais mais comuns dos seus dados de treinamento: frases como "thanks for watching" ou "subscribe to my channel" aparecem na saída do Whisper sobre trechos de áudio que não contêm nada disso. Isso está documentado em várias análises independentes e não é um caso extremo ocasional. Pesquisadores descobriram que um pequeno subconjunto de cabeças de atenção do decodificador é responsável pela maioria das alucinações em não-fala.

O VAD impede isso removendo as regiões sem fala antes que o modelo as veja. O modelo não pode alucinar sobre um silêncio que nunca recebeu.

Ele reduz o custo de processamento

Rodar um modelo de transcrição sobre silêncio não é gratuito. O modelo ainda processa o espectrograma completo de cada quadro que recebe. Para áudio com longos trechos sem fala, pular esses quadros economiza computação significativa. Pesquisadores observaram economia de 50 a 70 por cento em gravações majoritariamente silenciosas. Uma palestra de 90 minutos com pausas prolongadas, uma gravação de campo com som ambiente entre rajadas de fala relevante, um áudio de call center em que atendentes ficam em espera: todos se beneficiam proporcionalmente à quantidade de áudio que não é fala.

Para casos de uso de baixo volume, isso é uma preocupação menor. Para implantações em produção que processam milhares de horas por mês, vira uma alavanca real de custo.

Ele dá aos timestamps uma base melhor

Quando o modelo de transcrição recebe segmentos de fala limpos com horários de início precisos, a marcação de tempo no nível da palavra fica ancorada a eventos reais de áudio, em vez de esticada pelo silêncio. O resultado são timestamps de palavras mais confiáveis e legendas mais limpas. Isso importa mais em fluxos de trabalho que dependem de cortes precisos: geração de legendas, anotações de reunião indexadas por tópico ou transcrições pareadas com vídeo.

Como o VAD funciona por dentro

A abordagem técnica evoluiu de processamento simples de sinais para inferência neural. Três gerações ainda estão em uso hoje.

VAD baseado em energia

A abordagem mais antiga e simples. Mede-se a energia (volume) de cada quadro de áudio. Quadros acima de um limite são rotulados como fala; os abaixo, como silêncio.

Isso funciona num estúdio silencioso. Em qualquer ambiente real, falha: ruído de fundo a 60 decibéis mascara fala baixa a 55 decibéis, e um zumbido alto de ventilação dispara falsos positivos por toda parte. O VAD baseado em energia raramente é usado em pipelines modernos de transcrição, mas ainda aparece em sistemas embarcados com recursos limitados, onde o custo de computação importa mais que a precisão.

VAD estatístico (WebRTC VAD)

Um passo acima da energia bruta. Em vez de um único limite de energia, um Modelo de Mistura Gaussiana (GMM) é ajustado sobre múltiplas características acústicas por quadro: energia, forma espectral, taxa de cruzamento por zero, pitch. O GMM atribui uma probabilidade de o quadro corresponder à distribuição aprendida de "fala" versus a de "não-fala".

O WebRTC VAD, implementação open-source do projeto WebRTC do Google, usa essa abordagem. Tem cerca de 158 KB, processa blocos de 30 ms em menos de 1 ms em CPU e tem licença permissiva. É amplamente implantado em pipelines de comunicação por voz (chamadas de vídeo, VoIP), onde a latência importa mais que a precisão.

Sua fraqueza é que o GMM foi treinado com condições específicas de áudio. Música com vocais, fala em salas altamente reverberantes e ambientes muito ruidosos produzem classificações erradas. Num benchmark da Picovoice (que vende um produto concorrente, então trate os números como indicativos), o WebRTC VAD alcançou cerca de 50 por cento de taxa de detecção de fala com 5 por cento de taxa de falsos positivos — um resultado que ilustra suas limitações em condições ruidosas, não nas silenciosas.

VAD neural

O padrão atual para pipelines de transcrição. Uma rede neural pequena é treinada com áudio rotulado abrangendo milhares de horas e muitas condições de fundo, aprendendo a detectar fala na forma de onda bruta ou no espectrograma, sem características feitas à mão.

O Silero VAD é o VAD neural open-source mais adotado em pipelines de transcrição em produção. Lançado em dezembro de 2020 e mantido até 2026 (versão atual 6.2.1), usa uma arquitetura baseada em PyTorch e ONNX, com tamanho de modelo de cerca de 2 MB. Suporta taxas de amostragem de 8000 Hz e 16000 Hz, foi treinado com dados abrangendo mais de 6.000 idiomas e processa cada bloco de 30 ms em menos de 1 ms por thread de CPU. A licença MIT significa sem registro nem dependência de fornecedor.

No mesmo benchmark da Picovoice, o Silero alcançou aproximadamente 87,7 por cento de detecção de fala com 5 por cento de taxa de falsos positivos, uma melhoria substancial sobre a abordagem GMM. O VAD neural lida com música com vocais, reverberação e qualidade variável de microfone muito melhor que métodos estatísticos, embora nenhum modelo único elimine todos os casos extremos.

O VAD no pipeline do Whisper

A implementação de referência do Whisper da OpenAI não inclui VAD externo por padrão. O modelo contém um token interno de probabilidade de "sem fala", mas, na prática, é pouco confiável a ponto de implantações em produção adicionarem uma passagem dedicada de VAD a montante.

A arquitetura típica, usada pelo WhisperX e por wrappers similares do Whisper, funciona assim:

1. O áudio passa pelo Silero VAD ou pelo Pyannote, que retorna uma lista de segmentos de tempo com fala ativa.
2. Segmentos adjacentes separados por lacunas curtas (tipicamente 0,5 segundo ou menos) são mesclados.
3. As regiões de fala resultantes são divididas na janela de processamento do Whisper (30 segundos no máximo).
4. Cada bloco é transcrito pelo Whisper Large-v3.
5. Os timestamps são ajustados de volta à linha do tempo original antes que os blocos sejam concatenados.

Esse design é consideravelmente mais confiável do que alimentar o Whisper com áudio bruto, especialmente para gravações com silêncio prolongado ou fundo ambiente. Para uma análise mais profunda do próprio modelo, veja Whisper Large-v3 explicado.

O VAD no pipeline da Deepgram

A Deepgram Nova-3 integra a detecção de atividade de voz diretamente no pipeline do modelo de ponta a ponta. Os usuários não configuram um estágio separado de VAD. Isso é operacionalmente mais simples: um modelo, uma chamada de API, nenhum ajuste de VAD. O VAD integrado da Nova-3 melhorou especificamente em relação a modelos anteriores da Deepgram, que às vezes transcreviam áudio apenas musical ou quase silencioso como texto fantasma.

A contrapartida é a transparência. Você não pode inspecionar as decisões de fronteira do VAD separadamente da saída da transcrição, o que dificulta depurar casos extremos. Se seu fluxo de trabalho depende de auditar exatamente quais quadros foram classificados como fala, um VAD externo explícito é preferível. Para a maioria dos usuários, a abordagem integrada é o melhor padrão. A análise completa está em Deepgram Nova-3 explicado.

O que o VAD não consegue fazer

Três limites que vale conhecer antes de esperar demais dele.

O VAD não identifica falantes. Ele distingue fala de não-fala. O Falante A e o Falante B produzem quadros rotulados como "fala". Separá-los é um problema à parte, coberto em diarização de falantes explicada.

O VAD não limpa ruído dentro dos quadros de fala. Ele só determina quais quadros chegam ao modelo; o áudio desses quadros permanece inalterado. Uma gravação ruidosa continua ruidosa dentro dos segmentos selecionados pelo VAD. O VAD previne alucinações relacionadas ao silêncio, mas erros de transcrição causados por ruído de fundo dentro de regiões de fala exigem tratamento diferente.

O VAD não distingue tipos de não-fala. Risadas, música, barulho de multidão e silêncio total normalmente produzem o rótulo "não é fala". Sistemas especializados separam essas categorias, mas o VAD padrão usado em pipelines de transcrição não.

Para um mapa mais amplo do que causa erros de transcrição, por que a transcrição comete erros cobre toda a taxonomia de modos de falha.

Ajustando o VAD: três parâmetros que importam

Para a maioria dos usuários, o VAD é invisível. O pipeline vem com padrões, e eles geralmente funcionam bem. Para desenvolvedores que integram transcrição em seus próprios sistemas, três parâmetros têm maior impacto.

Sensibilidade (o limite de probabilidade de fala). Um limite alto exige evidência mais forte de fala antes de rotular um quadro como ativo. Isso reduz falsos positivos (ruído rotulado como fala), mas arrisca descartar fala baixa ou sussurrada. Um limite baixo captura mais fala, mas também deixa passar mais ruído. Sistemas em produção tipicamente ajustam isso numa pequena amostra de áudio representativo antes de escalar.

Duração mínima do segmento. Um filtro que descarta segmentos de fala detectados mais curtos que uma duração definida, tipicamente 250 ms. Sem ele, um clique breve ou um ruído de impacto é passado ao modelo de transcrição como um segmento de "fala", produzindo uma única palavra ou sílaba espúria na saída.

Padding (margem). A maioria dos sistemas de VAD estende cada segmento de fala detectado por uma quantidade fixa antes e depois das fronteiras detectadas. Sem padding, o primeiro fonema de uma fala costuma ser cortado, porque o gatilho do VAD dispara alguns milissegundos após o início da fala. Um valor de padding de 300 ms é um padrão comum para transcrição ASR; pipelines de treinamento TTS usam valores maiores, de 400 a 500 ms, para preservar a prosódia natural.

Esses parâmetros interagem. Sensibilidade agressiva com duração mínima curta e padding apertado maximiza a quantidade de não-fala removida, ao custo de ocasionalmente cortar fala real. Sensibilidade permissiva com padding longo preserva mais fala, ao custo de passar mais ruído ao modelo.

Quando o VAD tem maior impacto

O VAD importa mais na proporção direta de quanta não-fala há no áudio.

Gravações longas com pausas significativas se beneficiam mais: palestras, entrevistas de podcast com pausas de reflexão, reuniões com vai-e-vem intenso que deixa o canal de um falante quase todo em silêncio. Essas também são as gravações mais propensas a produzir texto fantasma sem VAD, porque o Whisper tem mais silêncio para preencher.

Áudios de voz e ditado se beneficiam porque os padrões fala-pausa-fala são o gatilho mais forte de alucinação: o modelo não tem nada a que se ancorar na pausa, então gera alguma coisa.

Gravações de campo com som ambiente entre rajadas de fala relevante frequentemente ficam inutilizáveis sem VAD. A proporção de não-fala para fala pode ser muito alta em áudio naturalista.

Minha opinião: para uploads de consumidores feitos de um celular ou notebook num ambiente normal, o VAD é encanamento invisível. Ou a transcrição funciona, ou tem problemas de precisão por causa de ruído ou sotaque, e o VAD não é o gargalo. Os casos em que o VAD muda visivelmente a saída são gravações longas, arquivos com interrupções frequentes de silêncio e qualquer coisa gravada num ambiente com som de fundo contínuo.

Se você quer ver como um pipeline com VAD incluído lida com seu áudio específico, a ferramenta de áudio para texto do CATT processa os primeiros 10 minutos grátis. Experimente um arquivo que já causou texto fantasma em outras ferramentas.

Perguntas frequentes

Qual tamanho de quadro o VAD normalmente usa?

A maioria dos sistemas de VAD em produção processa áudio em blocos de 10 a 30 ms. Quadros menores detectam o início da fala mais rápido, mas classificam errado com mais frequência em condições ruidosas. Quadros maiores são mais precisos, mas adicionam alguns milissegundos de atraso na detecção. O Silero VAD foi treinado com blocos de 30 ms e pode lidar nativamente com blocos maiores. O WebRTC VAD suporta modos de 10, 20 e 30 ms; 30 ms é o mais usado em pipelines de transcrição.

O VAD afeta a precisão da transcrição dentro das regiões de fala?

Não. O VAD muda quais porções do áudio chegam ao modelo, não como o modelo as processa. A taxa de erro de palavra do modelo num determinado segmento de fala não é afetada pelo fato de o VAD ter sido usado ou não para encontrar esse segmento. O benefício de precisão do VAD é indireto: ele previne texto alucinado no silêncio e dá ao modelo fronteiras de segmento mais limpas para trabalhar.

Por que o Whisper alucina sobre silêncio sem VAD?

O Whisper foi treinado com áudio de origem na internet, principalmente transcrições do YouTube. Vídeos do YouTube geralmente terminam com segmentos de encerramento, música de espera e áudio de preenchimento acompanhados de frases faladas como "thanks for watching" ou "subscribe to my channel". O modelo aprendeu a associar esses padrões de áudio sem fala a esse texto. Quando recebe silêncio ou música, recorre a essas associações e gera texto que nunca foi falado. O VAD externo remove os quadros silenciosos antes que o Whisper os veja, eliminando o gatilho.

O VAD neural é sempre melhor que o WebRTC VAD?

Para pipelines de transcrição, sim em quase todos os casos. O VAD neural, como o Silero, lida com ambientes ruidosos, música com vocais e reverberação muito melhor que o GMM do WebRTC. O WebRTC VAD tem a vantagem de custo de computação quase zero e pegada menor, o que o torna uma boa escolha para aplicações de comunicação por voz em tempo real, onde a latência é estritamente limitada e a qualidade do áudio é controlada (uma chamada de vídeo numa sala silenciosa). Para transcrição de áudio do mundo real, a abordagem neural vale o overhead ligeiramente maior.

Fontes

• Repositório do Silero VAD: https://github.com/snakers4/silero-vad
• Documentação do pipeline de VAD do WhisperX: https://deepwiki.com/m-bain/whisperX/4.1-voice-activity-detection
• Comparação de VAD da Picovoice (2026): https://picovoice.ai/blog/best-voice-activity-detection-vad/
• Guia completo de VAD da Picovoice (2026): https://picovoice.ai/blog/complete-guide-voice-activity-detection-vad/
• Visão geral do VAD da Deepgram: https://deepgram.com/learn/voice-activity-detection
• Pesquisa sobre alucinações do Whisper (arxiv 2402.08021): https://arxiv.org/html/2402.08021v2
• Investigação das alucinações do Whisper em áudio sem fala (arxiv 2501.11378): https://arxiv.org/html/2501.11378v1
• Pesquisa sobre redução de alucinações do Calm-Whisper (2025): https://arxiv.org/html/2505.12969v1
• Código-fonte do WebRTC VAD: https://chromium.googlesource.com/external/webrtc/+/518c683f3e413523a458a94b533274bd7f29992d/webrtc/modules/audio_processing/vad/voice_activity_detector.h
• Orientação de parâmetros do VAD (artigo do WhisperX): https://arxiv.org/pdf/2303.00747