Neuronale Netze und Transkription: Wie Modelle das Zuhören lernen

Die moderne Transkriptionsgenauigkeit baut auf neuronalen Netzen auf. Die Fortschritte zwischen 2015 und heute kamen fast ausschließlich aus besseren Architekturen und größeren Trainingsdatensätzen, nicht aus cleveren handgefertigten Regeln, die obendrauf gelegt wurden. Dieser Beitrag ordnet die zentralen Konzepte neuronaler Netze dem zu, was tatsächlich in einem Transkriptionsmodell passiert.

Was ein neuronales Netz ist – auf dem minimal nützlichen Niveau

Ein neuronales Netz ist ein Stapel mathematischer Funktionen mit vielen anpassbaren Parametern. Man trainiert es, indem man ihm Millionen von Eingabe-Ausgabe-Paaren zeigt und die Parameter jedes Mal anpasst, wenn das Netz eine falsche Ausgabe produziert. Nach ausreichendem Training generalisiert das Netz: Es liefert korrekte Ausgaben für Eingaben, die es nie gesehen hat.

Bei der Spracherkennung sind die Eingaben Audio-Repräsentationen und die Ausgaben Text-Token. Das ist der gesamte Rahmen. Die interessanten Fragen betreffen die Form der Eingabe, was die verschiedenen Schichten tatsächlich lernen und warum die Trainingsdaten die Obergrenze der Genauigkeit bestimmen.

Was das Netz als Eingabe sieht

Moderne Spracherkennungsnetze arbeiten nicht mit rohen Audio-Samples. Sie arbeiten mit Spektrogrammen: 2D-Bildern, die zeigen, wie die Frequenzenergie über die Zeit verteilt ist.

Whisper Large-v3 nimmt ein Log-Mel-Spektrogramm mit 128 Frequenzkanälen als Eingabe, einen Frame alle 10 Millisekunden. Dies ist eine bewusste Erhöhung gegenüber den 80 Kanälen früherer Whisper-Versionen. Das Upgrade verschafft dem Modell eine feinere Frequenzauflösung, was besonders bei Tonsprachen und eng beieinanderliegenden Vokalen hilft.

Unser Beitrag zu wie Spracherkennung funktioniert behandelt die Spektrogramm-Umwandlung genauer. Für diesen Beitrag ist der entscheidende Punkt, dass das Netz etwas wie ein Foto des Audios sieht, nicht das Audio selbst.

Schicht für Schicht: Was das Modell lernt

Tiefe neuronale Netze entwickeln interne Repräsentationen, die zunehmend abstrakter werden, je weiter man von der ersten zur letzten Schicht gelangt. Bei der Spracherkennung folgt das Muster einer groben dreistufigen Hierarchie.

Frühe Schichten: Akustische Merkmale

Die ersten Schichten erkennen elementare akustische Muster. Ein stimmhafter Konsonant hat eine andere spektrale Signatur als ein stimmloser; ein Vokal unterscheidet sich von einem Frikativ. Diese Unterscheidungen entsprechen grob denen, die ein Phonetiker ziehen würde, obwohl das Modell nie explizit angewiesen wurde, danach zu suchen.

Forschung, die Whispers interne Repräsentationen mit menschlichen Neuraldaten abbildet, zeigt, dass frühe Schichten am stärksten mit der Onset-bezogenen akustischen Verarbeitung korrelieren, was damit übereinstimmt, was wir über den frühen auditorischen Kortex wissen.

Mittlere Schichten: Phonetische und silbische Muster

Mittlere Schichten kombinieren elementare Merkmale zu höherstufigen Einheiten: Phonemen, Silben, kurzen Wortfragmenten. Bis zu diesem Punkt hat das Netz das rohe akustische Signal zu einer Repräsentation verdichtet, die sprachlichen Inhalt erfasst, während sprecherspezifische Details wie Tonhöhe und Größe des Stimmtrakts verworfen werden.

Hier lernt das Modell auch, invariant gegenüber Dingen zu sein, die das Transkript nicht beeinflussen sollten: Aufnahmequalität, Akzentunterschiede, Hintergrundgeräusche (innerhalb gewisser Grenzen). Das Modell lernt nichts davon explizit; das Trainingssignal lautet schlicht „Produziere den richtigen Text“, also entdeckt das Modell jene Invarianzen, die ihm dabei helfen. Unser Beitrag zu akustischen Modellen versus Sprachmodellen behandelt die historische Aufteilung dieser Aufgaben zwischen getrennten Systemen.

Späte Schichten: Sprachlicher Kontext

In den späten Schichten des Encoders und in den Decoder-Schichten findet die Sprachmodellierung statt. Das Modell lernt, dass bestimmte Wortfolgen wahrscheinlicher sind als andere, dass grammatische Konstruktionen häufig sind und ungrammatische nicht, und dass bestimmte Wörter dazu neigen, in bestimmten Kontexten aufzutauchen.

Das befähigt das Modell, akustisch mehrdeutige Wendungen aufzulösen. Die Phrase „recognize speech“ klingt schnell gesprochen nahezu identisch mit „wreck a nice beach“. Die Sprachmodellierungs-Kapazität wählt anhand des umgebenden Kontexts die richtige Interpretation. Das Beispiel ist seit den 1960er Jahren ein Running Gag im Fachgebiet, seit Ingenieur Manfred Schroeder feststellte, dass sein Vocoder seine Testphrase immer wieder so wiedergab.

Die Transformer-Architektur

Fast jedes wettbewerbsfähige Spracherkennungsmodell nutzt heute einen Transformer. Die Architektur wurde 2017 im Paper „Attention Is All You Need“ (Vaswani et al.) für maschinelle Übersetzung eingeführt. Sie erwies sich als gut generalisierend auf nahezu jede Sequenzmodellierungsaufgabe, einschließlich Sprache.

Der Kernmechanismus ist Self-Attention. Jede Position in der Eingabesequenz kann auf jede andere Position achten, mit gelernten Gewichten, die bestimmen, wie sehr jede Position sich für jede andere „interessiert“. Bei Audio bedeutet das: Ein Wort bei Sekunde 12 kann Kontext aus Sekunde 4 direkt nutzen, ohne Informationen durch jeden Zwischenschritt propagieren zu müssen.

Ältere rekurrente Netze (RNNs und LSTMs) verarbeiteten Sequenzen Schritt für Schritt und taten sich schwer, Informationen über lange Lücken hinweg zu behalten. Transformer gehen mit langfristigen Abhängigkeiten natürlicher um, was wichtig ist, weil die korrekte Interpretation eines Worts in einem Transkript oft vom Kontext viele Sekunden zuvor abhängt.

Encoder-Decoder-Struktur

Für die Spracherkennung ist die Standard-Anordnung des Transformers Encoder-Decoder. Der Encoder liest das gesamte Spektrogramm und erzeugt eine Sequenz hochdimensionaler Vektoren, einen pro Zeitframe. Der Decoder generiert dann Text-Token einzeln und achtet bei jedem Schritt auf die Encoder-Ausgabe.

Whisper Large-v3 nutzt diese Struktur. Ebenso die meisten wettbewerbsfähigen Open-Source-Spracherkennungsmodelle. Unser Beitrag zu Whisper Large-v3 erklärt behandelt die konkrete Architektur genauer.

Wie Training tatsächlich funktioniert

Man beginnt mit zufälligen Parametern. Das Modell produziert Unsinn. Man berechnet den Fehler zwischen der Ausgabe des Modells und dem korrekten Transkript, propagiert diesen Fehler rückwärts durch das Netz (Backpropagation) und passt jeden Parameter leicht in die Richtung an, die den Fehler verringert. Diesen Prozess wiederholt man Milliarden Male über Millionen Trainingsexemplare hinweg.

Die Mechanik umfasst Batches (viele Beispiele gleichzeitig zur Effizienz), Lernraten-Pläne (wie aggressiv man Parameter im Laufe der Zeit aktualisiert) und Regularisierungstechniken gegen Overfitting. Bei einem Modell der Größe von Whisper Large-v3 läuft das Training Tage bis Wochen auf Hunderten GPUs.

Warum Trainingsdaten die Obergrenze bestimmen

Das Modell kann nur Muster lernen, die in seinen Trainingsdaten existieren. Bestehen die Trainingsdaten ausschließlich aus im Studio aufgenommenem Englisch, wird das Modell bei Telefonaudio oder Nicht-Muttersprachlern schwächeln. Enthält der Trainingssatz kein medizinisches Vokabular, wird das Modell Medikamentennamen falsch schreiben.

Whisper Large-v3 wurde insgesamt auf rund 5 Millionen Stunden Audio trainiert: etwa 1 Million Stunden schwach gelabelten Audios und zusätzlich 4 Millionen Stunden pseudo-gelabelten Audios, erzeugt, indem Whisper Large-v2 über ungelabelte Inhalte lief. Das ist deutlich mehr als die 680.000 Stunden, mit denen die ursprüngliche Whisper-Version trainiert wurde.

Deepgram Nova-3, Anfang 2025 veröffentlicht, wurde auf einem proprietären Datensatz trainiert, der über 100 Domänen und zig Milliarden Token umfasst. Umfang und Domänenvielfalt der Trainingsdaten sind einer der Hauptgründe, warum Modelle aus gut ausgestatteten Laboren kleinere Alternativen unter realen Bedingungen übertreffen.

Fine-Tuning ist die praktische Lösung, wenn ein Allzweckmodell in Ihrer Domäne schwächelt. Man nimmt ein vortrainiertes Modell und setzt das Training mit einer kleinen Menge domänenspezifischer Daten fort: einigen Stunden medizinischer Aufnahmen, rechtlicher Aussagen oder technischer Podcasts. Da das Modell Sprache und akustische Struktur bereits kennt, muss es nur die Parameter anpassen, die für Ihr Vokabular relevant sind. Mehr dazu, wie sich Domänen-Diskrepanz in Fehlerraten zeigt, finden Sie in unserem Beitrag zu Transkriptionsgenauigkeit erklärt.

Was zur Inferenzzeit passiert

Sobald trainiert, ist die Nutzung des Modells unkompliziert. Man liefert Audio, das Modell produziert Text.

Der Inferenzprozess:

1. Audio wird in ein Log-Mel-Spektrogramm umgewandelt.
2. Der Encoder verarbeitet das Spektrogramm und erzeugt eine Sequenz von Hidden-Vektoren.
3. Der Decoder generiert Text-Token einzeln, wobei jedes neue Token auf die Encoder-Ausgabe und alle zuvor generierten Token konditioniert wird.
4. Die Generierung stoppt, wenn der Decoder ein End-of-Sequence-Token erzeugt.

Für einen 30-Sekunden-Clip dauert das Bruchteile einer Sekunde auf moderner Hardware. Längeres Audio wird in 30-Sekunden-Blöcken verarbeitet und zusammengesetzt.

Warum End-to-End hybride Systeme schlug

Vor etwa 2017 waren Spracherkennungssysteme hybrid: Ein neuronales Netz schätzte Phonem-Wahrscheinlichkeiten, ein Aussprachewörterbuch bildete Phoneme auf Wörter ab, ein separates Sprachmodell bewertete Wortfolgen, und ein Beam-Search-Algorithmus kombinierte alles.

End-to-End-Systeme fassten all dies in einem einzigen Netz zusammen, das direkt auf Audio-zu-Text-Paaren trainiert wird. Das Trainingsziel lautet schlicht „Produziere den richtigen Text aus dem Audio“, und das Modell lernt jede interne Struktur, die diesem Ziel dient.

Drei konkrete Gründe, warum das besser funktioniert:

Das Modell kann Informationen nutzen, die die Designer hybrider Systeme nicht vorhergesehen haben. Prosodische Merkmale wie Intonation, Betonung und Rhythmus können Wörter auflösen, die isoliert identisch klingen. Hybride Systeme nutzten Prosodie selten; End-to-End-Modelle nehmen sie beiläufig während des Trainings auf.

Gemeinsame Optimierung ist effizienter als das Abstimmen getrennter Komponenten. Ein hybrides System ist durch sein schwächstes Modul begrenzt. Ein End-to-End-Modell kann lernen, Schwächen eines Teils mit Stärken eines anderen auszugleichen.

Transfer zwischen Sprachen ist natürlich. Ein einzelnes Whisper-Modell beherrscht 99 Sprachen, weil gemeinsame interne Repräsentationen allen helfen. Hybride Systeme benötigten weitgehend getrennte Komponenten für jede Sprache.

Mehr zu den Architekturentscheidungen finden Sie in unserem Beitrag zu wie KI-Spracherkennung funktioniert, der die Encoder-Decoder- und CTC-Familien technisch vertieft behandelt.

Wo neuronale Netze noch scheitern

Neuronale Netze sind keine Magie. Sie haben systematische Fehlermodi, die direkt aus dem Trainingsprozess resultieren.

Long-Tail-Vokabular. Wörter, die in Trainingsdaten selten vorkamen, werden konsequent falsch geschrieben: Markennamen, Fachjargon, ungewöhnliche Eigennamen. Das Modell weist seltenen Token eine niedrige Wahrscheinlichkeit zu, weil sie während des Trainings kaum in korrekten Transkripten auftauchten. Unser Beitrag zu warum Transkription Fehler macht behandelt das im Detail.

Verteilungsverschiebung. Audio, das sich deutlich von der Trainingsverteilung unterscheidet – sei es wegen ungewöhnlicher Aufnahmebedingungen, starkem Akzent oder neuartigem Domänen-Vokabular –, liefert schlechtere Ergebnisse. Das ist kein Bug; es ist eine direkte Folge davon, wie Training funktioniert.

Halluzination. Der Decoder kann plausibel klingenden Text erzeugen, der nichts im Audio Entsprechendes hat, besonders bei Stille oder Hintergrundgeräuschen. Das Modell hat eine starke Tendenz, Text zu produzieren, weil seine Trainingsdaten fast immer Sprache enthielten. Sprachaktivitätserkennung (VAD), die Nicht-Sprach-Segmente herausfiltert, bevor sie das Transkriptionsmodell erreichen, ist die Standard-Gegenmaßnahme. Unser Beitrag zu wie VAD funktioniert erklärt die Technik.

Sprecher-Verwechslung. Standard-Transkriptionsmodelle erzeugen einen undifferenzierten Textstrom. Sprecher zu trennen erfordert einen zusätzlichen Schritt namens Diarisierung. Unser Beitrag zu Sprecher-Diarisierung erklärt behandelt, wie das unabhängig von der Grundtranskription funktioniert.

Meine Einschätzung: Alle oben genannten Fehlermodi haben bekannte Gegenmaßnahmen, und die besten Produktionssysteme kombinieren mehrere davon. Aber das Verständnis der Grundursache jedes Fehlermodus verrät Ihnen, welche Maßnahme Sie ergreifen sollten – und wann sie nicht hilft.

Eine Anmerkung zur Produkt-Pipeline

Dieser Beitrag konzentriert sich auf das neuronale Netz selbst. Wenn Sie verstehen möchten, wie die gesamte Produkt-Pipeline vom Upload bis zum formatierten Transkript funktioniert – inklusive VAD, Diarisierung, Interpunktionsrestaurierung und Ausgabeformatierung –, lesen Sie unseren Beitrag zu wie KI-Transkription funktioniert. Die beiden Beiträge sind darauf ausgelegt, zusammen gelesen zu werden.

Wenn Sie die Ausgabe eines produktiven neuronalen Transkriptionssystems mit Ihrem eigenen Audio testen möchten, führt ConvertAudioToText Whisper Large-v3 auf hochgeladenen Dateien aus – ohne Registrierung für kurze Clips.

Quellen

• OpenAI Whisper Large-v3 model card: https://huggingface.co/openai/whisper-large-v3
• Vaswani et al., "Attention Is All You Need" (2017): https://arxiv.org/abs/1706.03762
• Deepgram Nova-3 announcement: https://deepgram.com/learn/introducing-nova-3-speech-to-text-api
• WhisperX: Time-Accurate Speech Transcription of Long-Form Audio: https://arxiv.org/pdf/2303.00747
• Calm-Whisper: Reduce Whisper Hallucination On Non-Speech: https://arxiv.org/html/2505.12969v1
• Language Log on "Wreck a Nice Beach": https://languagelog.ldc.upenn.edu/nll/?p=13828

FAQ

Welche Eingabe erhält ein neuronales Netz tatsächlich aus dem Audio?

Es erhält ein Spektrogramm, keine rohen Wellenform-Samples. Bei den meisten modernen Modellen bedeutet das ein Log-Mel-Spektrogramm: eine 2D-Darstellung, wie die Frequenzenergie über die Zeit verteilt ist. Whisper Large-v3 verwendet 128 Mel-Frequenzkanäle pro Zeitframe, ein Upgrade gegenüber den 80 Kanälen früherer Whisper-Versionen.

Warum haben End-to-End-neuronale Netze hybride ASR-Systeme abgelöst?

Ältere hybride Systeme bestanden aus getrennten Komponenten: einem neuronalen Netz für Phonem-Wahrscheinlichkeiten, einem Aussprachewörterbuch, einem Sprachmodell und einem Beam-Search-Decoder. Jede Komponente musste einzeln abgestimmt werden. End-to-End-Modelle fassten all dies in einem einzigen Netz zusammen, das direkt auf Audio-zu-Text-Paaren trainiert wird. Das gemeinsame Training ermöglicht dem Modell, Ausgleichsstrategien zu lernen, die getrennte Komponenten nicht können, und ein einzelnes Whisper-Modell kann 99 Sprachen bedienen, weil es seine internen Repräsentationen über alle hinweg teilt.

Warum erzeugt ein Transkriptionsmodell manchmal Text, der nie gesprochen wurde?

Das ist Halluzination: Der Decoder generiert plausibel klingenden Text, selbst wenn das Audio nur Stille, Hintergrundgeräusche oder unverständliche Klänge enthält. Das Modell hat aus Audio gelernt, das fast immer Sprache enthielt, daher hat es eine starke Tendenz, Text zu produzieren. Sprachaktivitätserkennung (VAD) mildert dies, indem sie Nicht-Sprach-Segmente herausfiltert, bevor sie das Transkriptionsmodell erreichen.

Was ist Fine-Tuning und wann hilft es?

Fine-Tuning bedeutet, ein trainiertes Allzweckmodell zu nehmen und das Training auf einem kleinen Datensatz aus einem bestimmten Bereich fortzusetzen, etwa medizinischen Aufnahmen oder rechtlichen Aussagen. Da das Modell Sprache und akustische Struktur bereits kennt, benötigt es nur wenige Stunden domänenspezifischen Audios, um sich auf korrektes Vokabular und Formulierungen auszurichten. Am nützlichsten ist Fine-Tuning für Fachvokabular, das in den ursprünglichen Trainingsdaten selten vorkam.