Wie KI-Spracherkennung funktioniert: Die neuronale Pipeline (2026)

Die Pipeline auf einen Blick

Moderne KI-Spracherkennung ist ein neuronales Netzwerk mit Encoder und Decoder, das ein Log-Mel-Spektrogramm Ihres Audios liest und Text-Tokens ausgibt – alles in einem einzigen Durchgang, ohne separates akustisches Modell oder Aussprachelexikon dazwischen. Das Modell erlernt die Zuordnung von Laut zu Wort gemeinsam, weshalb die Genauigkeit in den vergangenen fünf Jahren so deutlich gestiegen ist. Wenn Sie die Geschichte der älteren Hybrid-Pipeline erfahren möchten (HMM, MFCC, getrennte akustische und Sprachmodelle), lesen Sie wie Spracherkennung funktioniert. Wenn Sie die Produktperspektive interessiert (was zwischen Ihrem Datei-Upload und dem heruntergeladenen Transkript passiert), lesen Sie wie KI-Transkription funktioniert. Dieser Beitrag behandelt die moderne neuronale Architektur selbst.

Von der Schallwelle zum Modelleingang

Bevor irgendein neuronales Netzwerk Ihr Audio überhaupt sieht, muss die rohe Wellenform in ein Format gebracht werden, das das Modell verarbeiten kann.

Das Standard-Eingabeformat ist ein Log-Mel-Spektrogramm. Das Audio wird in überlappende 25-ms-Frames unterteilt, die alle 10 ms abgetastet werden. Jeder Frame wird durch eine Short-Time-Fourier-Transformation (STFT) geleitet, um ein Frequenzspektrum zu erzeugen, das anschließend durch eine Bank dreieckiger Filter gefiltert wird, die auf der Mel-Skala verteilt sind (eine perzeptive Frequenzskala, die dem menschlichen Hörvermögen entspricht). Auf die Filterausgaben wird eine logarithmische Kompression angewendet, die die logarithmische Empfindlichkeit des Ohrs gegenüber der Lautstärke annähert. Das Ergebnis ist ein 2D-Raster: Zeit auf der einen Achse, Mel-Frequenz auf der anderen, wobei die Intensität anzeigt, wie viel Energie zu jedem Zeitpunkt in jedem Frequenzband vorhanden ist.

Whisper large-v3 verwendet 128 Mel-Frequenzbins (frühere Whisper-Versionen und die meisten anderen Modelle verwenden 80). Dieses 2D-Raster liest der Encoder.

Der Encoder: Bedeutung aus Spektrogramm-Patches extrahieren

Die Aufgabe des Encoders ist es, das Spektrogramm in eine reichhaltige interne Darstellung des Gesagten umzuwandeln.

Transformer-Encoder verarbeiten das Spektrogramm in überlappenden Patches mit Multi-Head-Self-Attention. Jeder Attention-Kopf vergleicht jede Position im Spektrogramm mit jeder anderen Position, um herauszufinden, welche Teile des Audiokontexts zueinander relevant sind. Frühere Faltungsschichten (oder konvolutionale Sub-Blöcke wie in der Conformer-Architektur) erfassen lokale Muster, während Transformer-Schichten langreichweitige Abhängigkeiten erfassen. Dadurch weiß das Modell, dass sich das „right“ in einem Satz über das Abbiegen an einer Kreuzung nicht gleich anhört wie das „right“ in einem Satz darüber, dass man recht hat – noch bevor der Decoder sich für eine Lesart entschieden hat.

Der Conformer (veröffentlicht von Google auf der INTERSPEECH 2020) ergänzt jeden Transformer-Block um ein Faltungsmodul und mischt lokale und globale Verarbeitung auf eine Weise, die für Sprache besonders gut funktioniert, da akustische Merkmale eine starke lokale Korrelation aufweisen.

Der Decoder: Text generieren, Token für Token

Im Decoder erzeugt das Modell tatsächlich den Text.

Whisper verwendet einen autoregressiven Seq2Seq-Decoder mit Cross-Attention. Der Decoder generiert Text-Tokens einzeln nacheinander. In jedem Schritt wendet er Self-Attention auf die bereits ausgegebenen Tokens an (um kohärente Sprache zu bewahren) sowie Cross-Attention auf die Ausgabe des Encoders (um in den akustischen Belegen verwurzelt zu bleiben). Die Cross-Attention-Gewichte bestimmen, welchen Teilen des Spektrogramms das Modell beim Schreiben jedes Tokens „zuhört“.

Tokens sind Subwort-Einheiten (BPE-Vokabular), keine Phoneme. Das Modell erzeugt nie eine explizite Phonemebene; es bildet Audio in einem einzigen gelernten Prozess direkt auf Word-Piece-Tokens ab. Wenn Sie gehört haben, dass moderne ASR weiterhin akustische Modelle auf Phonemebene und ein separates statistisches Sprachmodell verwendet, passt diese Beschreibung auf die klassische Hybrid-Pipeline, die CTC-basierte Modelle teilweise und Seq2Seq-Modelle fast vollständig ersetzt haben.

CTC, Seq2Seq und Transducer: Drei Strategien für ein Problem

Nicht alle neuronalen ASR-Systeme verwenden denselben Ausgabemechanismus. Das Verständnis der drei wichtigsten Ansätze ist der Kern dieses Themas.

CTC (Connectionist Temporal Classification) wurde 2006 vorgeschlagen und wird bis heute häufig eingesetzt (wav2vec 2.0 von Facebook AI ist das bekannteste moderne Beispiel). Das Modell gibt bei jedem Audioframe eine Wahrscheinlichkeitsverteilung über Tokens aus. Anschließend verdichtet CTC die Sequenz auf Frame-Ebene, indem wiederholte Tokens zusammengeführt und Leer-Tokens entfernt werden, um das endgültige Transkript zu erzeugen. Die zentrale Eigenschaft ist, dass CTC von bedingter Unabhängigkeit zwischen den Ausgabe-Tokens ausgeht: Die Vorhersage jedes Frames erfolgt ohne Zugriff auf zuvor vorhergesagte Tokens. Das macht CTC schnell und einfach zu trainieren, aber da kein Sprachmodell in den Dekodierungsprozess eingebunden ist, kann es bei seltenen Wörtern lexikalisch inkohärent sein.

Seq2seq-Attention (Encoder-Decoder) verwendet Whisper. Der autoregressive Decoder verhält sich wie ein vollwertiges Sprachmodell: Jedes Token konditioniert auf allem, was davor kam. Das erzeugt natürlicheren, kohärenteren Text, insbesondere bei Wörtern außerhalb des Vokabulars oder fachspezifischen Begriffen. Der Nachteil: Die Dekodierung erfolgt sequenziell und langsamer, und das Modell muss das gesamte Audio verarbeiten, bevor es generiert (Batch-Verarbeitung statt Streaming).

RNN-T (Recurrent Neural Network Transducer) vereint die Stärken beider Ansätze. Sein akustischer Encoder und das Vorhersagenetzwerk (ein kleines autoregressives Sprachmodell über die zuvor vorhergesagten Tokens) werden über ein Joint Network verschmolzen. Der entscheidende Vorteil ist Streaming: RNN-T kann Tokens ausgeben, sobald Audio eintrifft, ohne auf das Ende der Äußerung zu warten. Deshalb dominieren transducer-basierte Modelle Produktions-Streaming-Anwendungen, Sprachassistenten und Echtzeit-Untertitelungssysteme. Es geht auf Arbeiten von Alex Graves zurück und ist zum Rückgrat des On-Device-ASR in Produkten wie Googles Pixel-Rekorder geworden.

Hybrides CTC+Attention-Training ist zunehmend verbreitet: Der CTC-Loss fördert während des Trainings eine monotone Ausrichtung, wodurch der Attention-Decoder schneller konvergiert, während der Attention-Decoder die endgültige Ausgabe übernimmt.

Was Trainingsdaten tatsächlich prägen

Umfang und Vielfalt der Trainingsdaten bestimmen die Generalisierung stärker als die Architektur allein.

Das ursprüngliche Whisper (2022) wurde auf 680.000 Stunden schwach überwachtem mehrsprachigem Audio trainiert, das 96 Sprachen abdeckte und 125.000 Stunden Übersetzungsdaten enthielt. Whisper large-v3 (Ende 2023 veröffentlicht) wurde auf 1 Million Stunden schwach gelabeltem Audio plus 4 Millionen Stunden pseudo-gelabeltem Audio trainiert, das mit Whisper large-v2 erzeugt wurde – insgesamt rund 5 Millionen Stunden, mit 1,55 Milliarden Parametern und Unterstützung für 99 Sprachen.

„Schwach überwacht“ bedeutet, dass die Trainingslabels aus vorhandenen Internetquellen stammten (Untertitel, Transkripte) und nicht aus mühsam annotierten Studioaufnahmen. Die dadurch entstehende Vielfalt der Bedingungen ist ein Grund dafür, warum das Modell mit realen Audioaufnahmen besser umgeht als viele Wettbewerber, die auf kleineren, aber saubereren Korpora trainiert wurden.

Einige Modelle werden gemeinsam auf Transkription, Übersetzung, Sprachidentifikation und Zeitstempelvorhersage trainiert. Bei Whisper erfolgt die Aufgabenkonditionierung ausschließlich über spezielle Decoder-Tokens, die der Ausgabesequenz vorangestellt werden: Dieselben Transformer-Gewichte lernen alle vier Aufgaben gleichzeitig. Dieses Multi-Task-Training scheint reichhaltigere Audio-Darstellungen zu erzeugen als Single-Task-Training.

Sprecherdiarisierung: Ein paralleles System

Diarisierung – also herauszufinden, wer was gesagt hat – ist nicht im Kern-ASR-Modell integriert. Sie läuft als separate Pipeline neben der Transkription.

Moderne neuronale Diarisierung extrahiert Sprecher-Embeddings und clustert sie anschließend. Das Audio wird in überlappende Segmente zerlegt. Ein neuronaler Encoder (häufig eine TDNN- oder ResNet-Architektur) wandelt jedes Segment in einen hochdimensionalen Vektor um, der die stimmlichen Merkmale des Sprechers erfasst: Tonhöhenmuster, Formantfrequenzen, Form des Vokaltrakts. Diese Embeddings werden hierarchisch geclustert. Segmenten mit ähnlichen Embeddings wird dasselbe Sprecherlabel zugewiesen.

Die zentrale Herausforderung besteht darin, dass die Anzahl der Sprecher unbekannt ist. Moderne Systeme verwenden gelernte Ähnlichkeitsschwellenwerte, um zu entscheiden, wo das Dendrogramm geschnitten wird. Überlappende Sprache (zwei Personen, die gleichzeitig sprechen) bleibt ein aktives Forschungsproblem: Die meisten Produktionssysteme behandeln gleichzeitige Sprache, indem sie pro Frame einen Sprecher zuweisen, wodurch die leisere Stimme in einer Überlappung typischerweise verloren geht.

Tools wie Meeting-Transkription und Interview-Transkription wenden die Diarisierung als Nachbearbeitungsschritt an, nachdem das Kern-ASR abgeschlossen ist.

Genauigkeit: Was die Zahlen wirklich bedeuten

Die markanten Genauigkeitszahlen, die Sie in Marketingmaterial sehen, spiegeln fast immer saubere vorgelesene Sprache wider, nicht reales Audio.

Whisper large-v3 erreicht 2,7 % WER auf LibriSpeech test-clean, also vorgelesenem Hörbuch-Audio in Studiqualität. Auf dem Hugging Face Open ASR Leaderboard (Stand Mitte 2026) erzielte Whisper large-v3 eine mittlere WER von 7,44 % über vielfältige reale Testsätze hinweg. Spitzengelistete Modelle wie Coheres Transcribe (5,42 % mittlere WER) und ElevenLabs Scribe v2 (5,83 %) treiben den Stand der Technik voran, doch diese Zahlen verschieben sich, wenn neue Modelle in die Bestenliste aufgenommen werden.

Bei praktischen Inhalten liegt die reale WER in Meetings, Podcasts und Telefonaten typischerweise zwischen 8 % und 15 %, je nach Geräuschpegel, Anzahl der Sprecher und Akzentvielfalt. Die Lücke zwischen Benchmark-WER und praktischer WER ist der Hauptgrund, warum Sie jedes ASR-System zunächst mit Ihrem eigenen Audio testen sollten, bevor Sie sich festlegen.

Meine Einschätzung: Die WER auf LibriSpeech zeigt Ihnen die Obergrenze des Modells. Die WER auf Ihren tatsächlichen Inhalten ist die einzige Zahl, die für Ihren Anwendungsfall zählt.

Warum End-to-End-Modelle die alte Hybrid-Pipeline schlagen

Die klassische Pipeline bestand aus einem Feature-Extraktor, einem HMM-basierten akustischen Modell, das Merkmale auf Phoneme abbildete, einem Aussprachelexikon und einem separat trainierten N-Gramm-Sprachmodell. Jede Stufe wurde unabhängig optimiert, sodass Fehler einer Stufe für die anderen unsichtbar blieben.

End-to-End-Modelle optimieren die gesamte Abbildung von Audio zu Text gemeinsam. Klingt ein Wort akustisch mehrdeutig, kann der neuronale Decoder sofort den Satzkontext zur Auflösung heranziehen, denn die akustischen Belege und das Sprachmodell sind dieselben Gewichte. Es gibt keine Nahtstelle zwischen „Welches Phonem ist das?“ und „Welches Wort ergibt diese Phonemsequenz?“. Das ist der architektonische Grund, warum die Genauigkeit bei schwierigem Audio zwischen 2019 und 2023 so stark gestiegen ist.

Der Wandel kam in zwei Wellen. CTC-basierte Modelle wie DeepSpeech (2014) waren die ersten praktikablen End-to-End-ASR-Systeme. Transformer-basierte Seq2Seq-Modelle ab etwa 2020 führten dies weiter fort, indem sie die Annahme bedingter Unabhängigkeit beseitigten, die CTCs LM-Integration schwach gemacht hatte.

Wenn Sie im Detail erfahren möchten, was nach dem ASR-Output passiert (Interpunktionsergänzung, Zusammenführung der Diarisierung, Absatzformatierung, Export), lesen Sie wie KI-Transkription funktioniert. Wenn Sie die Vorgeschichte vor der neuronalen Ära ab HMMs und MFCCs interessiert, deckt wie Spracherkennung funktioniert den gesamten Bogen ab.

Was moderne ASR weiterhin begrenzt

Architekturverbesserungen haben eine Grenze. Manche Einschränkungen ergeben sich aus Physik und Daten, nicht aus dem Modelldesign.

Überlappende Sprache ist wirklich schwierig: Zwei Stimmen belegen dieselben Zeit-Frequenz-Bins, und ihre Trennung erfordert Modelle zur Quellentrennung (wie Conv-TasNet), die vor dem ASR-Modell laufen – was Latenz und Komplexität erhöht.

Sprachen mit wenigen Ressourcen bleiben schlecht abgedeckt. Eine Sprache mit nur einigen hundert Stunden gelabelter Trainingsdaten führt zu einem Modell mit einer WER, die eine Größenordnung höher liegt als bei einer ressourcenstarken Sprache – unabhängig davon, wie ausgefeilt die Architektur ist. Das ist ein Grund, warum KI bei ressourcenarmen Sprachen Schwierigkeiten hat.

Hintergrundmusik unterscheidet sich kategorial von Hintergrundgeräuschen. Konstantes Rauschen lässt sich mit Voice Activity Detection herausfiltern. Musik belegt überlappende Frequenzbereiche mit Sprache, sodass das Modell oft Liedtexte oder Wörter halluziniert, wenn Musik vorhanden ist. Dies ist ein bekanntes Fehlerbild speziell bei Whisper.

Proprietäre Modelle wie Deepgram Nova optimieren andere Trade-offs (Latenz, Streaming, Domänenanpassung) mit Architekturen, deren Teams nicht im Detail veröffentlicht haben. Für eine Aufschlüsselung dessen, was Nova-3 anders macht, siehe Deepgram Nova-3 erklärt.

Wenn Sie schnell saubere Transkripte benötigen, ohne eigene ASR-Infrastruktur zu betreiben, übernimmt ConvertAudioToText die komplette Pipeline für Sie – inklusive Diarisierung und Export nach SRT, VTT und Klartext.

Häufig gestellte Fragen

Was ist der Unterschied zwischen CTC und Seq2Seq bei der Spracherkennung?

CTC sagt bei jedem Audioframe unabhängig ein Token voraus und verdichtet dann die Sequenz. Es ist schnell und streamingfreundlich, trifft aber während der Dekodierung keine Entscheidungen auf Sprachmodellebene. Seq2seq (wie Whisper) verwendet einen autoregressiven Decoder mit Cross-Attention zum Encoder: Es generiert jedes Token unter Berücksichtigung aller vorherigen Tokens und aller akustischen Belege zusammen. Das erzeugt kohärenteren Text, insbesondere bei fachspezifischem Vokabular, erfordert jedoch die Verarbeitung des gesamten Audios, bevor die Ausgabe generiert wird.

Warum verwenden moderne ASR-Modelle keine Phoneme als Zwischenschritt?

Ältere Hybridsysteme verwendeten Phoneme, weil das akustische Modell und das Sprachmodell separat trainiert wurden: Das akustische Modell benötigte einen festen Ausgaberaum (Phoneme), den das Sprachmodell verarbeiten konnte. End-to-End-Modelle lernen die vollständige Abbildung von Audio zu Text in einem Durchgang und geben daher direkt Subwort-Tokens (BPE-Einheiten) aus. Das Modell lernt implizit alle Zwischendarstellungen, die sich als nützlich erweisen – und das sind nicht unbedingt Phoneme.

Wie verbessert Multi-Task-Training die Spracherkennung?

Das gleichzeitige Training eines Modells auf Transkription, Übersetzung, Sprachidentifikation und Zeitstempelvorhersage zwingt es dazu, Audio-Darstellungen aufzubauen, die über Aufgaben hinweg generalisieren. Whisper beispielsweise konditioniert alle vier Aufgaben über spezielle Präfix-Tokens, die dem Decoder vorangestellt werden: Dieselben Encoder-Gewichte müssen genügend akustische Details erfassen, um alle Aufgaben zu unterstützen. Das Ergebnis ist ein Modell mit besserer Robustheit gegenüber Akzenten und Sprachen als ein rein auf Transkription trainiertes Modell mit denselben Daten.

Wie genau ist KI-Spracherkennung bei realen Audioaufnahmen im Jahr 2026?

Bei vorgelesener Sprache (LibriSpeech test-clean) erreichen führende Modelle etwa 2–3 % WER. Bei realen Audioaufnahmen, darunter Meetings, Podcasts und Telefonate, liegt die WER typischerweise zwischen 8 % und 15 %, je nach Rauschen, überlappenden Sprechern und Akzentvielfalt. Führende Kräfte der Bestenliste Mitte 2026 wie Coheres Transcribe melden eine mittlere WER von 5,42 % über gemischte Testsätze, wobei diese Zahlen die Zusammensetzung der Bestenliste widerspiegeln und sich verschieben, wenn neue Modelle evaluiert werden.

Was unterscheidet die Conformer-Architektur von einem Standard-Transformer für ASR?

Ein Standard-Transformer nutzt Self-Attention über alle Positionen, um globalen Kontext zu erfassen. Der Conformer, veröffentlicht von Google auf der INTERSPEECH 2020, fügt in jedem Transformer-Block zwischen zwei Feed-Forward-Modulen ein Faltungsmodul hinzu. So kann jeder Block sowohl lokale akustische Muster (über Faltung) als auch langreichweitige Abhängigkeiten (über Attention) gleichzeitig erfassen. Da Sprache eine starke lokale Struktur aufweist (akustische Merkmale sind stark mit den Nachbarframes korreliert), übertrifft diese Kombination einen reinen Transformer für ASR bei den meisten Benchmarks.

Quellen

• OpenAI Whisper GitHub (Modellkarte, Architektur, Trainingsdaten): https://github.com/openai/whisper
• Hugging Face: openai/whisper-large-v3 Modellkarte: https://huggingface.co/openai/whisper-large-v3
• Google Research: Conformer (INTERSPEECH 2020): https://research.google/pubs/conformer-convolution-augmented-transformer-for-speech-recognition/
• Hugging Face Audio Course, Seq2Seq-Architekturen: https://huggingface.co/learn/audio-course/chapter3/seq2seq
• Hugging Face Transformers: wav2vec2-Dokumentation: https://huggingface.co/docs/transformers/en/model_doc/wav2vec2
• pyannote.ai: Was ist Speaker Diarisierung: https://www.pyannote.ai/blog/what-is-speaker-diarization
• Hugging Face Open ASR Leaderboard (Stand Mitte 2026): https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
• AssemblyAI: Word Error Rate ist kaputt (2026): https://www.assemblyai.com/blog/word-error-rate-is-broken