Wie Voice Activity Detection (VAD) bei der Transkription funktioniert

Was VAD entscheidet

Die Sprachaktivitätserkennung beantwortet für jedes kurze Audiostück eine einzige Frage: Wird hier gerade gesprochen oder nicht? Die Antwort bestimmt, welche Frames das Transkriptionsmodell erreichen und welche verworfen werden. Macht man es falsch, entsteht entweder halluzinierter Text über Stille, oder der Anfang echter Wörter wird abgeschnitten.

Warum VAD Teil der Pipeline ist

Ein Transkriptionsmodell nimmt Audio auf und gibt Text aus. Es hat kein angeborenes Konzept von „hier spricht niemand“. Füttert man es mit Stille, Hintergrundgeräuschen oder Wartemusik, versucht es trotzdem, Text zu erzeugen – denn genau dafür wurde es trainiert. VAD ist das Tor, das vorgeschaltet sitzt und entscheidet, was überhaupt das Modell erreicht.

Aus diesem Tor ergeben sich drei konkrete Effekte.

Es verhindert Halluzinationen bei Stille

Whisper Large-v3 neigt nachweislich dazu, während stiller oder sprachfreier Audioabschnitte Phantomtext zu erzeugen. Da das Modell auf Internetdaten trainiert wurde, die von YouTube-Videos dominiert werden, hat es gelernt, Audio mit transkribierbarer Sprache zu verknüpfen. Trifft es auf Stille, greift es auf die häufigsten Enden seiner Trainingsdaten zurück: Phrasen wie „thanks for watching“ oder „subscribe to my channel“ erscheinen in der Whisper-Ausgabe über Audioabschnitte, die weder das eine noch das andere enthalten. Das wurde in mehreren unabhängigen Analysen dokumentiert und ist kein gelegentlicher Randfall. Forschende haben herausgefunden, dass eine kleine Teilmenge der Decoder-Attention-Köpfe für den Großteil der Nicht-Sprach-Halluzinationen verantwortlich ist.

VAD verhindert das, indem sprachfreie Bereiche entfernt werden, bevor das Modell sie sieht. Über Stille, die es nie erhält, kann das Modell nicht halluzinieren.

Es senkt die Verarbeitungskosten

Ein Transkriptionsmodell über Stille laufen zu lassen, ist nicht kostenlos. Das Modell verarbeitet weiterhin das vollständige Spektrogramm für jeden Frame, den es erhält. Bei Audio mit langen sprachfreien Passagen spart das Überspringen dieser Frames erhebliche Rechenleistung. Forschende haben Einsparungen zwischen 50 und 70 Prozent bei weitgehend stillen Aufnahmen festgestellt. Eine 90-minütige Vorlesung mit ausgedehnten Pausen, eine Außenaufnahme mit Umgebungsgeräuschen zwischen relevanten Sprachpassagen, Callcenter-Audio, in dem Agenten in der Warteschleife hängen: All diese profitieren proportional davon, wie viel des Audios keine Sprache ist.

Für Anwendungsfälle mit geringem Volumen ist das ein untergeordnetes Thema. Für Produktionsumgebungen, die tausende Stunden pro Monat verarbeiten, wird daraus ein echter Kostenhebel.

Es schafft eine bessere Grundlage für Zeitstempel

Wenn das Transkriptionsmodell saubere Sprachsegmente mit genauen Startzeiten erhält, ist sein Timing auf Wortebene an echte Audioereignisse gekoppelt statt über Stille hinweg gedehnt. Das Ergebnis sind zuverlässigere Wort-Zeitstempel und sauberere Untertitelausgaben. Am wichtigsten ist das in Workflows, die auf präzise Schnitte angewiesen sind: Untertitelgenerierung, nach Themen indizierte Meeting-Notizen oder Transkripte in Kombination mit Video.

Wie VAD technisch funktioniert

Der technische Ansatz hat sich von einfacher Signalverarbeitung zu neuronaler Inferenz entwickelt. Drei Generationen sind heute noch im Einsatz.

Energiebasierte VAD

Der früheste und einfachste Ansatz. Man misst die Energie (Lautstärke) jedes Audio-Frames. Frames oberhalb eines Schwellenwerts werden als Sprache markiert, Frames darunter als Stille.

Das funktioniert im schalltoten Studio. In jeder realen Umgebung versagt es: Hintergrundgeräusche mit 60 Dezibel übertönen leise Sprache mit 55 Dezibel, und ein lautes Lüfterbrummen löst überall Falschmeldungen aus. Energiebasierte VAD wird in modernen Transkriptions-Pipelines selten eingesetzt, taucht aber weiterhin in ressourcenbeschränkten Embedded-Systemen auf, wo die Rechenkosten wichtiger sind als die Genauigkeit.

Statistische VAD (WebRTC VAD)

Eine Stufe über der reinen Energie. Statt eines einzelnen Energieschwellenwerts wird ein Gaußsches Mischungsmodell (GMM) über mehrere akustische Merkmale pro Frame angepasst: Energie, Spektralform, Nulldurchgangsrate, Tonhöhe. Das GMM weist dem Frame eine Wahrscheinlichkeit zu, ob er zur gelernten „Sprache“-Verteilung oder zur „Nicht-Sprache“-Verteilung passt.

WebRTC VAD, die Open-Source-Implementierung aus Googles WebRTC-Projekt, nutzt diesen Ansatz. Es ist rund 158 KB groß, verarbeitet 30-ms-Chunks auf der CPU in unter 1 ms und ist permissiv lizenziert. Es kommt breit in Sprachkommunikations-Pipelines zum Einsatz (Videoanrufe, VoIP), wo Latenz wichtiger ist als Genauigkeit.

Seine Schwäche: Das GMM wurde auf bestimmte Audiobedingungen trainiert. Musik mit Gesang, Sprache in stark hallenden Räumen und sehr laute Umgebungen führen alle zu Fehlklassifikationen. In einem Benchmark von Picovoice (das ein konkurrierendes Produkt vertreibt, daher die Zahlen eher als Richtwert verstehen) erreichte WebRTC VAD eine Spracherkennungsrate von rund 50 Prozent bei einer Falsch-Positiv-Rate von 5 Prozent – ein Ergebnis, das seine Grenzen unter lauten Bedingungen illustriert, nicht unter leisen.

Neuronale VAD

Der aktuelle Standard für Transkriptions-Pipelines. Ein kleines neuronales Netz wird auf gelabeltem Audio trainiert, das tausende Stunden und viele Hintergrundbedingungen umfasst, und lernt, Sprache in der Rohwellenform oder im Spektrogramm zu erkennen – ohne handgefertigte Merkmale.

Silero VAD ist die am weitesten verbreitete Open-Source-neuronale VAD in Produktions-Transkriptions-Pipelines. Im Dezember 2020 veröffentlicht und bis 2026 gepflegt (aktuelle Version 6.2.1), nutzt sie eine PyTorch- und ONNX-basierte Architektur mit einer Modellgröße von rund 2 MB. Sie unterstützt Abtastraten von 8000 Hz und 16000 Hz, wurde auf Daten aus über 6.000 Sprachen trainiert und verarbeitet jeden 30-ms-Chunk in unter 1 ms pro CPU-Thread. Die MIT-Lizenz bedeutet: keine Registrierung, keine Anbieterabhängigkeit.

Im selben Picovoice-Benchmark erreichte Silero etwa 87,7 Prozent Spracherkennung bei einer Falsch-Positiv-Rate von 5 Prozent – eine deutliche Verbesserung gegenüber dem GMM-Ansatz. Neuronale VAD bewältigt Musik mit Gesang, Hall und schwankende Mikrofonqualität deutlich besser als statistische Methoden, auch wenn kein einzelnes Modell alle Grenzfälle ausschließt.

VAD in der Whisper-Pipeline

OpenAIs Referenzimplementierung von Whisper enthält standardmäßig kein externes VAD. Das Modell besitzt zwar ein internes „No Speech“-Wahrscheinlichkeits-Token, doch in der Praxis ist dieses unzuverlässig genug, dass Produktionsumgebungen einen dedizierten VAD-Durchlauf vorschalten.

Die typische Architektur, wie sie WhisperX und ähnliche Whisper-Wrapper verwenden, läuft so ab:

1. Das Audio wird durch Silero VAD oder Pyannote geleitet, wodurch eine Liste sprachaktiver Zeitsegmente zurückgegeben wird.
2. Benachbarte Segmente mit kurzen Lücken (typischerweise 0,5 Sekunden oder weniger) werden zusammengeführt.
3. Die resultierenden Sprachbereiche werden in Whispers Verarbeitungsfenster (maximal 30 Sekunden) aufgeteilt.
4. Jeder Chunk wird von Whisper Large-v3 transkribiert.
5. Die Zeitstempel werden vor dem Zusammenfügen der Chunks wieder auf die ursprüngliche Zeitleiste zurückgerechnet.

Dieser Entwurf ist deutlich zuverlässiger, als Whisper rohes Audio zu füttern, besonders bei Aufnahmen mit ausgedehnter Stille oder Umgebungshintergrund. Für einen tieferen Blick auf das Modell selbst siehe Whisper Large-v3 erklärt.

VAD in der Deepgram-Pipeline

Deepgram Nova-3 integriert die Sprachaktivitätserkennung direkt in die End-to-End-Modell-Pipeline. Nutzer konfigurieren keine separate VAD-Stufe. Das ist operativ einfacher: ein Modell, ein API-Aufruf, kein VAD-Tuning. Nova-3s eingebautes VAD hat sich speziell gegenüber früheren Deepgram-Modellen verbessert, die manchmal rein musikalisches oder nahezu stilles Audio als Phantomtext transkribierten.

Der Nachteil ist die Transparenz. Man kann die VAD-Grenzentscheidungen nicht getrennt von der Transkriptionsausgabe einsehen, was das Debuggen von Grenzfällen erschwert. Wenn Ihr Workflow darauf angewiesen ist zu prüfen, welche Frames genau als Sprache klassifiziert wurden, ist ein explizites externes VAD vorzuziehen. Für die meisten Nutzer ist der integrierte Ansatz die bessere Standardeinstellung. Die vollständige Analyse finden Sie in Deepgram Nova-3 erklärt.

Was VAD nicht kann

Drei Grenzen, die man kennen sollte, bevor man zu viel davon erwartet.

VAD identifiziert keine Sprecher. Es unterscheidet Sprache von Nicht-Sprache. Sprecher A und Sprecher B erzeugen beide Frames mit dem Label „Sprache“. Sie zu trennen ist ein eigenes Problem, das in Sprecherdiarisierung erklärt behandelt wird.

VAD bereinigt kein Rauschen innerhalb der Sprach-Frames. Es bestimmt nur, welche Frames das Modell erreichen; das Audio in diesen Frames bleibt unverändert. Eine verrauschte Aufnahme bleibt auch innerhalb der von VAD ausgewählten Segmente verrauscht. VAD verhindert Halluzinationen durch Stille, aber Transkriptionsfehler durch Hintergrundrauschen innerhalb von Sprachregionen erfordern eine andere Behandlung.

VAD unterscheidet keine Arten von Nicht-Sprache. Lachen, Musik, Menschenmengenlärm und absolute Stille führen typischerweise alle zu einem „keine Sprache“-Label. Spezialisierte Systeme trennen diese Kategorien, das in Transkriptions-Pipelines übliche Standard-VAD tut das nicht.

Für eine breitere Übersicht darüber, was Transkriptionsfehler verursacht, behandelt warum Transkription Fehler macht die gesamte Taxonomie der Fehlermodi.

VAD tunen: Drei Parameter, die zählen

Für die meisten Nutzer ist VAD unsichtbar. Die Pipeline kommt mit Standardwerten, und die sind meist in Ordnung. Für Entwickler, die Transkription in eigene Systeme integrieren, haben drei Parameter den größten Einfluss.

Empfindlichkeit (der Sprachwahrscheinlichkeits-Schwellenwert). Ein hoher Schwellenwert verlangt stärkere Belege für Sprache, bevor ein Frame als aktiv markiert wird. Das reduziert Falsch-Positive (Rauschen, das als Sprache markiert wird), riskiert aber, leise oder hauchige Sprache zu verlieren. Ein niedriger Schwellenwert erfasst mehr Sprache, lässt aber auch mehr Rauschen durch. Produktionssysteme stimmen diesen Wert typischerweise an einer kleinen Stichprobe repräsentativen Audios ab, bevor sie im großen Maßstab ausrollen.

Minimale Segmentdauer. Ein Filter, der erkannte Sprachsegmente verwirft, die kürzer als eine festgelegte Dauer sind, typischerweise 250 ms. Ohne ihn wird ein kurzes Klicken oder Aufprallgeräusch als „Sprache“-Segment an das Transkriptionsmodell weitergereicht und erzeugt ein einzelnes Scheinwort oder eine Scheinsilbe in der Ausgabe.

Padding. Die meisten VAD-Systeme erweitern jedes erkannte Sprachsegment um einen festen Betrag vor und nach den erkannten Grenzen. Ohne Padding wird oft der erste Laut einer Äußerung abgeschnitten, weil der VAD-Trigger einige Millisekunden nach Sprachbeginn auslöst. Ein Padding-Wert von 300 ms ist ein verbreiteter Standard für ASR-Transkription; TTS-Trainings-Pipelines nutzen längere Werte von 400 bis 500 ms, um natürliche Prosodie zu erhalten.

Diese Parameter interagieren. Aggressive Empfindlichkeit mit kurzer Mindestdauer und knappem Padding maximiert die Menge an entfernten sprachfreien Anteilen – auf Kosten gelegentlich abgeschnittener echter Sprache. Nachsichtige Empfindlichkeit mit langem Padding erhält mehr Sprache, auf Kosten dessen, dass mehr Rauschen ans Modell durchgereicht wird.

Wann VAD den größten Effekt hat

VAD ist umso wichtiger, je mehr Nicht-Sprache im Audio steckt.

Lange Aufnahmen mit deutlichen Pausen profitieren am meisten: Vorlesungen, Podcast-Interviews mit Denkpausen, Meetings mit lebhaftem Hin und Her, bei denen der Kanal eines Sprechers größtenteils still bleibt. Das sind auch die Aufnahmen, die ohne VAD am ehesten Phantomtext erzeugen, weil Whisper mehr Stille zu füllen hat.

Sprachmemos und Diktate profitieren, weil Sprache-Pause-Sprache-Muster der stärkste Halluzinationstrigger sind: Das Modell hat in der Pause nichts, woran es sich festhalten kann, also erzeugt es etwas.

Außenaufnahmen mit Umgebungsgeräuschen zwischen Schüben relevanter Sprache sind ohne VAD oft unbrauchbar. Das Verhältnis von Nicht-Sprache zu Sprache kann in naturalistischem Audio sehr hoch sein.

Meine Einschätzung: Bei Consumer-Uploads vom Handy oder Laptop in einem normalen Raum ist VAD unsichtbare Infrastruktur. Das Transkript funktioniert entweder oder hat Genauigkeitsprobleme durch Rauschen oder Akzent – VAD ist nicht der Engpass. Die Fälle, in denen VAD die Ausgabe sichtbar verändert, sind Langaufnahmen, Dateien mit häufigen Stillepausen und alles, was in einer Umgebung mit dauerhaften Hintergrundgeräuschen aufgenommen wurde.

Wenn Sie sehen möchten, wie eine Pipeline mit integriertem VAD Ihr konkretes Audio verarbeitet: CATTs Audio-zu-Text-Tool verarbeitet die ersten 10 Minuten kostenlos. Probieren Sie eine Datei aus, die in anderen Tools Phantomtext erzeugt hat.

Häufige Fragen

Welche Framegröße verwendet VAD typischerweise?

Die meisten Produktions-VAD-Systeme verarbeiten Audio in Chunks von 10 bis 30 ms. Kleinere Frames erkennen den Sprachbeginn schneller, klassifizieren aber unter lauten Bedingungen öfter falsch. Größere Frames sind genauer, fügen jedoch einige Millisekunden Erkennungsverzögerung hinzu. Silero VAD wurde auf 30-ms-Chunks trainiert und kann längere Chunks nativ verarbeiten. WebRTC VAD unterstützt Modi mit 10, 20 und 30 ms; 30 ms sind in Transkriptions-Pipelines am gebräuchlichsten.

Beeinflusst VAD die Transkriptionsgenauigkeit innerhalb von Sprachregionen?

Nein. VAD ändert, welche Teile des Audios das Modell erreichen, nicht wie das Modell sie verarbeitet. Die Word Error Rate des Modells für ein bestimmtes Sprachsegment bleibt davon unberührt, ob VAD zur Findung dieses Segments eingesetzt wurde. Der Genauigkeitsvorteil von VAD ist indirekt: Er verhindert halluzinierten Text in Stille und gibt dem Modell sauberere Segmentgrenzen zum Arbeiten.

Warum halluziniert Whisper bei Stille ohne VAD?

Whisper wurde auf Audio aus dem Internet trainiert, primär auf YouTube-Transkripten. YouTube-Videos enden häufig mit Outro-Segmenten, Wartemusik und Füllaudio, begleitet von gesprochenen Phrasen wie „thanks for watching“ oder „subscribe to my channel“. Das Modell lernte, diese sprachfreien Audiomuster mit diesem Text zu verknüpfen. Erhält es Stille oder Musik, greift es auf diese Verknüpfungen zurück und generiert Text, der nie gesprochen wurde. Externes VAD entfernt die stillen Frames, bevor Whisper sie sieht, und eliminiert damit den Auslöser.

Ist neuronale VAD immer besser als WebRTC VAD?

Für Transkriptions-Pipelines ja, in fast allen Fällen. Neuronale VAD wie Silero bewältigt laute Umgebungen, Musik mit Gesang und Hall deutlich besser als WebRTCs GMM. WebRTC VAD hat den Vorteil nahezu null Rechenkosten und eines kleineren Footprints, was es zur guten Wahl für Echtzeit-Sprachkommunikationsanwendungen macht, bei denen die Latenz streng begrenzt und die Audioqualität kontrolliert ist (ein Videoanruf in einem ruhigen Raum). Für die Transkription realen Audios ist der neuronale Ansatz den etwas höheren Overhead wert.

Quellen

• Silero-VAD-Repository: https://github.com/snakers4/silero-vad
• WhisperX-VAD-Pipeline-Dokumentation: https://deepwiki.com/m-bain/whisperX/4.1-voice-activity-detection
• Picovoice-VAD-Vergleich (2026): https://picovoice.ai/blog/best-voice-activity-detection-vad/
• Picovoice-VAD-Komplettguide (2026): https://picovoice.ai/blog/complete-guide-voice-activity-detection-vad/
• Deepgram-VAD-Übersicht: https://deepgram.com/learn/voice-activity-detection
• Whisper-Halluzinationsforschung (arxiv 2402.08021): https://arxiv.org/html/2402.08021v2
• Untersuchung von Whisper-Halluzinationen bei sprachfreiem Audio (arxiv 2501.11378): https://arxiv.org/html/2501.11378v1
• Calm-Whisper-Forschung zur Halluzinationsreduktion (2025): https://arxiv.org/html/2505.12969v1
• WebRTC-VAD-Quellcode: https://chromium.googlesource.com/external/webrtc/+/518c683f3e413523a458a94b533274bd7f29992d/webrtc/modules/audio_processing/vad/voice_activity_detector.h
• VAD-Parameter-Leitfaden (WhisperX-Paper): https://arxiv.org/pdf/2303.00747