Wie Spracherkennung funktioniert: Eine Geschichte von 1952 bis heute

Spracherkennung funktioniert, indem eine Schallwelle in eine numerische Darstellung ihres Frequenzinhalts umgewandelt wird und dann ein trainiertes Modell vorhersagt, welche Wörter gesprochen wurden. Diese Ein-Satz-Antwort ist heute korrekt, aber sie verdeckt siebzig Jahre voller Irrwege, Paradigmenwechsel und einiger entscheidender Durchbrüche, die verändert haben, was das Feld für möglich hielt.

Dieser Beitrag zeichnet den gesamten Bogen nach, von den ersten Maschinen, die 1952 gesprochene Ziffern erkennen konnten, bis zu den Transformer-Modellen, die heute bei sauberem Audio die Genauigkeit von Menschen erreichen. Die technischen Interna der heutigen neuronalen Pipeline behandeln wir im Schwesterbeitrag über wie KI-Spracherkennung funktioniert, und die produktseitige Pipeline (Upload, VAD, Diarisierung, Formatierung) steht in wie KI-Transkription funktioniert. Dieser Beitrag ist das historische Fundament, auf dem beide aufbauen.

Die 1950er: Audrey und ein sehr begrenzter Anfang

Audrey von Bell Labs, gebaut 1952, gilt als das erste Spracherkennungssystem überhaupt. Es belegte ein sechs Fuß hohes Relaisgestell und konnte die gesprochenen Ziffern null bis neun erkennen. Das klingt bescheiden, war aber eine echte technische Meisterleistung: Audrey arbeitete, indem es die Formanten (resonante Frequenzspitzen) jeder gesprochenen Ziffer analysierte und sie mit gespeicherten Vorlagen abglich.

Der Haken: Audrey erreichte bis zu 97 Prozent Genauigkeit nur, wenn der Sprecher männlich war, mindestens 350 Millisekunden zwischen jeder Ziffer pausierte und die Maschine auf die Stimme dieses spezifischen Sprechers kalibriert worden war. Es funktionierte, weil Ziffernerkennung ein Problem mit geschlossenem Satz ist, bei dem es nur zehn mögliche Antworten gibt. Natürliche Sprache mit ihrem riesigen Wortschatz und kontinuierlichem Fluss war ein völlig anderes Problem.

Ein Jahrzehnt später stellte IBM den Shoebox auf der Weltausstellung 1962 in Seattle vor. Er erkannte 16 Wörter: die zehn Ziffern plus sechs Rechenbefehle wie „plus" und „Summe". Die Maschine konnte eine gesprochene Rechenaufgabe annehmen und die Berechnung an eine Addiermaschine weitergeben. Immer noch Musterabgleich, immer noch schmerzlich begrenzt.

Die 1970er: DARPA, Beam Search und die 1.000-Wörter-Hürde

In den 1970ern kamen staatliche Gelder und ein ehrgeizigeres Ziel ins Spiel. DARPA's Speech Understanding Research (SUR) Programm, das von 1971 bis 1976 lief, finanzierte eine Handvoll Forschungsgruppen mit einem konkreten Auftrag: ein System, das kontinuierliche Sprache mit einem Wortschatz von mindestens 1.000 Wörtern versteht.

Das Harpy-System der Carnegie Mellon University erreichte dieses Ziel 1976. Harpy kannte 1.011 Wörter und führte Beam Search ein, eine Dekodierungsstrategie, die den Raum möglicher Wortsequenzen während der Audioverarbeitung beschneidet, statt jede Möglichkeit erschöpfend zu bewerten. Beam Search wird auch in modernen Dekodern noch verwendet.

Hearsay, ein weiteres CMU-System aus derselben Zeit, verfolgte einen anderen Ansatz: geschichtete „Wissensquellen", die Hypothesen von der Akustik über Phoneme zu Wörtern und Syntax weitergaben. Das war architektonisch interessant, aber fragil, und es verlor gegen Harpy auf dem Benchmark. Die Lektion, die das Feld immer wieder lernte: Elegante Struktur zählt weniger als etwas, das Fehler zuverlässig reduziert.

Die 1980er: Hidden Markov Models ändern alles

Die eigentliche statistische Grundlage moderner Spracherkennung kam von den Hidden Markov Models (HMMs). Lenny Baum entwickelte die zugrunde liegende Mathematik Anfang der 1970er in Princeton. James und Janet Baker wandten HMMs in ihrer Doktorarbeit von 1974 an der Carnegie Mellon auf Sprache an und bauten das Dragon-System, das später zu einem kommerziellen Produkt wurde.

HMMs waren ein konzeptioneller Wandel vom Template-Matching zur probabilistischen Modellierung. Statt für jedes Wort einen festen Fingerabdruck zu speichern und die Distanz dazu zu messen, modelliert ein HMM Sprache als eine Sequenz verborgener Zustände (die erzeugten Phoneme) mit beobachtbaren Ausgaben (die aus dem Signal gemessenen akustischen Merkmale). Bei beobachteten Merkmalen fragst du: Welche Sequenz verborgener Zustände hat diese höchstwahrscheinlich erzeugt?

Das ist aus mehreren Gründen wichtig. Erstens klingt dasselbe Wort jedes Mal ein wenig anders, wenn du es aussprichst. HMMs gehen mit dieser Variation probabilistisch um, statt eine starre Übereinstimmung mit einer Vorlage zu verlangen. Zweitens sind HMMs komponierbar: Du kannst Phonem-Modelle zu Wortmodellen und Wortmodelle zu Satzmodellen verketten. Drittens lassen sich HMMs aus Daten trainieren statt von Hand zu entwerfen, was bedeutete, dass mehr Daten bessere Modelle ergaben.

Ende der 1980er Jahre wurden HMMs mit Gaußschen Mischmodellen (GMMs) kombiniert, um das akustische Modell in dem zu erzeugen, was zur Standardarchitektur wurde: ein GMM-HMM-System mit einem separaten N-Gramm-Sprachmodell, das Kandidatentranskripte danach neu bewertete, wie wahrscheinlich die Wortsequenz in allgemeinem Text war.

Die 1990er Jahre: Kommerzielle Diktiersysteme kommen an

Das GMM-HMM-Framework war gut genug, um kommerzielle Produkte zu bauen. Dragon Dictate kam 1990 für 9.000 $ mit einem 80.000-Wörter-Wörterbuch auf den Markt. Es war diskrete Sprache: Du musstest zwischen den Wörtern pausieren. IBMs ViaVoice (1996) verbesserte die Benutzerfreundlichkeit mit sprecherunabhängigen Modellen.

Dann, 1997, kam Dragon NaturallySpeaking für 150 $ auf den Markt und unterstützte kontinuierliche Sprache, mit einer Erkennung von etwa 100 Wörtern pro Minute ohne trainierte Pausen. Das war das erste System, das die meisten Leute tatsächlich nutzen konnten. Es erforderte immer noch eine Sprechertrainingssitzung, um sich an deine Stimme anzupassen, und es kämpfte weiterhin mit Akzenten, Hintergrundgeräuschen und domänenspezifischem Vokabular. Aber es bewies, dass Desktop-Diktat machbar war.

Meine Einschätzung: Die Systeme der 1990er Jahre waren beeindruckend, wenn man die damaligen Beschränkungen bedenkt, aber sie waren auf eine Art fragil, die sie anstrengend in der Nutzung machte. Wenn man von einer ruhigen Umgebung abwich oder etwas außerhalb der erwarteten Muster sagte, brach die Genauigkeit zusammen. Die statistische Maschinerie war richtig; die Daten und die Rechenleistung reichten noch nicht aus.

Die 2000er Jahre: Skalierung, neuronale Netze und Googles Wette

Google Voice Search, 2008 eingeführt, wandte eine entscheidende Erkenntnis an: Große Datensätze und verteilte Rechenleistung konnten Modelle hervorbringen, die Akzente und Rauschen robust verarbeiteten, etwas, das keine noch so feine manuelle Abstimmung eines Systems mit kleinen Datenmengen erreichen konnte. Die zugrunde liegenden Modelle waren noch weitgehend GMM-HMM, aber die Trainingsdaten waren um Größenordnungen größer als alles, was akademische Forscher verwendet hatten.

In der Zwischenzeit zeigten Geoffrey Hinton und seine Mitarbeiter, dass tiefe neuronale Netze GMMs bei der akustischen Modellierung übertreffen konnten. Das wegweisende Paper von 2012, "Deep Neural Networks for Acoustic Modeling in Speech Recognition", verfasst von Hinton, Li Deng, Dong Yu, George Dahl und anderen von Microsoft, IBM, Google und Toronto, zeigte, dass das Ersetzen der GMM durch ein tiefes neuronales Netz in einer ansonsten standardmäßigen HMM-Pipeline große Genauigkeitsverbesserungen über mehrere Benchmarks hinweg brachte. Der DNN-HMM-Hybrid senkte die Fehlerraten dramatisch auf Systemen, die sich jahrelang kaum verbessert hatten.

Das war kein kleiner inkrementeller Schritt. Das Feld verschob sich fast sofort. Innerhalb weniger Jahre hatte jedes große kommerzielle ASR-System seine GMM-Akustikmodelle durch DNNs ersetzt.

Die Ära 2014-2017: End-to-End-Lernen

Der DNN-HMM-Hybrid war besser, aber er war immer noch ein Drei-Komponenten-System: Akustikmodell, Aussprachewörterbuch, Sprachmodell. Jedes Teil wurde separat trainiert und musste zur Inferenzzeit zusammenpassen. Forscher begannen zu fragen, ob man ein einzelnes Modell trainieren könnte, das Audio direkt in Text umwandelt.

Zwei Ansätze entstanden fast gleichzeitig.

Connectionist Temporal Classification (CTC), 2006 von Alex Graves eingeführt, aber erst 2014 in der automatischen Spracherkennung (ASR) richtig relevant, bot eine Möglichkeit, Sequenz-zu-Sequenz-Modelle zu trainieren, ohne dass alignierte Eingabe-Ausgabe-Paare nötig waren. Baidus Deep Speech nutzte ein bidirektionales RNN mit CTC-Loss, um 2014 den Switchboard Hub5'00-Benchmark zu knacken, und das ganz ohne traditionelle Phonem-Wörterbücher oder handgefertigte Features.

Attention-basierte Encoder-Decoder-Modelle kamen aus der maschinellen Übersetzung. Arbeiten von Chorowski, Bahdanau und Kollegen aus dem Jahr 2015 zeigten, dass weiche Attention über die akustische Sequenz die explizite Alignierung ersetzen konnte, die HMMs erzwangen. Das Modell lernte, selbst zu alignieren.

Beide Ansätze waren in dem Sinne „end-to-end“, dass ein einziges neuronales Netz alles aus den Daten lernte, akustische Muster und Sprachmuster zusammen, ohne separate Komponenten oder Aussprache-Wörterbücher.

2017 und der Transformer

Das Paper „Attention Is All You Need“ von Vaswani und Kollegen bei Google aus dem Jahr 2017 führte die Transformer-Architektur für Sequenzmodellierung ein. Sie ersetzte die rekurrenten neuronalen Netze, die NLP und ASR dominiert hatten, durch Self-Attention-Schichten, die Beziehungen zwischen beliebigen Positionen in einer Sequenz modellieren konnten, ohne den sequenziellen Flaschenhals von RNNs.

Transformer konnten die gesamte Eingabesequenz parallel verarbeiten, langreichweitige Abhängigkeiten effizient modellieren und mit mehr Daten und Rechenleistung skalieren, was RNNs kaum hinbekamen. Bis 2019 und 2020 erreichten transformerbasierte ASR-Systeme auf Standard-Benchmarks State-of-the-Art-Ergebnisse.

Facebook AI's wav2vec 2.0 (2020) zeigte, dass Transformatoren auch selbstüberwacht auf unbeschrifteten Audiodaten vortrainiert und anschließend mit kleinen Mengen transkribierter Daten feinabgestimmt werden können. Das Training auf 53.000 Stunden unbeschriftetem Audio und die Feinabstimmung mit nur zehn Minuten beschrifteter Daten erzielten Wortfehlerraten, für die man bei früheren Ansätzen Tausende beschrifteter Stunden benötigt hatte. Das war besonders bedeutsam für Sprachen mit geringen Ressourcen und wenig transkribierten Daten, ein Problem, das wir in unserem Beitrag zu warum KI mit Sprachen mit geringen Ressourcen kämpft ausführlich behandeln.

2022 bis heute: Whisper und der Skaleneffekt

OpenAI veröffentlichte Whisper im Jahr 2022. Das Modell ist ein standardmäßiger Encoder-Decoder-Transformer, aber seine Trainingsdaten waren in Umfang und Vielfalt beispiellos: 680.000 Stunden Audio mit Transkripten, darunter 563.000 Stunden Englisch und 117.000 Stunden in 96 weiteren Sprachen, gesammelt aus dem Web.

Das Audio wird in ein 80-Kanal-Log-Mel-Spektrogramm umgewandelt, das auf 25-Millisekunden-Fenstern bei 16.000 Hz berechnet wird, bevor es in den Encoder gelangt. Der Decoder erzeugt Texttoken autoregressiv. An der Architektur ist nichts Exotisches; der Umfang der Trainingsdaten machte den Unterschied.

Whisper Large-v3 erreicht etwa 3 Prozent Wortfehlerrate bei sauberen, vorgelesenen Sprachbenchmarks. Die Genauigkeit in der Praxis schwankt stark mit der Audioqualität: Bei sauberen Aufnahmen kann sie unter 5 Prozent WER liegen, während verrauschtes oder gesprochenes Audio mit mehreren Sprechern die Fehlerrate auf 15 bis 30 Prozent treiben kann. Zum Vergleich: Menschliche Transkribenten erreichen unter guten Bedingungen typischerweise 2 bis 4 Prozent WER und 10 bis 15 Prozent in lauten Umgebungen.

Für eine grundlegende Erklärung, was WER bedeutet und warum es in die Irre führen kann, siehe unseren Beitrag zur Transkriptionsgenauigkeit erklärt.

Warum es 70 Jahre dauerte

Drei Einschränkungen hielten das Feld zurück, und jede musste grob in der richtigen Reihenfolge gelöst werden.

Daten. Whisper wurde mit 680.000 Stunden trainiert. Dragon NaturallySpeaking trainierte 1997 mit weit weniger, und die Modelle, die es lernen konnte, waren entsprechend flacher. Das Sammeln und Beschriften von Audio in großem Maßstab war teuer; das Web lieferte es schließlich kostenlos.

Rechenleistung. Das Training eines Transformers auf 680.000 Stunden erfordert GPU-Cluster. Der DNN-HMM-Durchbruch von 2012 fiel mit der Ära zusammen, in der GPU-Computing zugänglich genug wurde, um tiefe Netzwerke mit Forschungsbudgets zu betreiben. Früher war die Rechenleistung schlicht nicht vorhanden.

Algorithmen. HMMs waren der richtige Rahmen für die Daten und die Rechenleistung, die in den 1980ern verfügbar waren. Tiefe Netze waren theoretisch schon früher überzeugend, aber praktisch nicht trainierbar auf der damaligen Hardware und den damaligen Datensatzgrößen. Transformer lösten die Probleme mit Parallelisierung und langreichweitigen Abhängigkeiten, die RNNs schwer im großen Maßstab trainierbar machten.

Die Lehre: Jede Generation von Forschern arbeitete nahe an der Grenze dessen, was ihre Einschränkungen erlaubten. Das Audrey-Team von 1952 leistete etwas wirklich Schwieriges mit Template-Matching und analogen Schaltkreisen. Die HMM-Arbeit der 1980er war statistisch rigoros und langlebig. Die Deep-Learning-Wende von 2012 war gerade deshalb schnell, weil die Ideen ausgereift waren und die Rechenleistung aufgeholt hatte. Diese Entwicklung zu verstehen, lässt die aktuelle Transformer-Ära weniger wie Magie und mehr wie die nächste Iteration desselben Musters wirken.

Wenn Sie moderne End-to-End-Erkennung in der Praxis sehen möchten, führt das Audio-zu-Text-Tool bei ConvertAudioToText Dateien durch die aktuelle Pipeline, und die Ausgabe, die Sie zurückbekommen, ist das Produkt von allem, was oben beschrieben wurde.

FAQ

Was war das erste Spracherkennungssystem?

Bell Labs entwickelte Audrey im Jahr 1952. Das System konnte die Ziffern null bis neun erkennen, allerdings nur von einem einzelnen Sprecher unter kontrollierten Bedingungen. Es belegte ein sechs Fuß hohes Relaisgestell und funktionierte, indem es die Formantfrequenzen jeder Ziffer mit gespeicherten Vorlagen abglich.

Was sind Hidden Markov Models und warum waren sie für die Spracherkennung wichtig?

Hidden Markov Models (HMMs) modellieren Sprache als eine Abfolge versteckter Zustände (Phoneme), die beobachtbare Ausgaben (akustische Merkmale) erzeugen. Statt Audio mit einer festen Vorlage abzugleichen, berechnen HMMs die wahrscheinlichste Phonemsequenz, die das beobachtete Audio erzeugt haben könnte. Dieser probabilistische Ansatz bewältigte natürliche Aussprachevariationen und ließ sich auf große Wortschätze skalieren, was mit früheren Vorlagenabgleichmethoden nicht möglich war.

Was änderte sich 2012, um die Spracherkennung so viel besser zu machen?

Der Durchbruch 2012 bestand darin, die Gaußsche Mischverteilung (GMM) als akustische Komponente in der Standard-GMM-HMM-Pipeline durch ein tiefes neuronales Netz zu ersetzen. Eine Arbeit von Hinton, Deng, Yu, Dahl und Mitarbeitern von Microsoft, Google, IBM und der University of Toronto zeigte, dass DNN-HMM-Hybridsysteme die GMM-HMM-Basislinien bei mehreren Benchmarks deutlich übertrafen, was eine schnelle Übernahme in der gesamten Branche auslöste.

Was bedeutet "End-to-End" in der Spracherkennung?

Ein End-to-End-System ist ein einzelnes neuronales Netz, das darauf trainiert ist, Audio direkt in Text umzuwandeln, ohne separate akustische Modelle, Aussprachewörterbücher oder Sprachmodelle, die einzeln trainiert und kombiniert werden müssen. Baidus Deep Speech (2014) war ein frühes bekanntes Beispiel, das CTC-Loss verwendete. Whisper ist ein neueres Beispiel mit einer Encoder-Decoder-Transformer-Architektur. Die Hauptvorteile sind einfachere Trainingspipelines und die Möglichkeit, alles gemeinsam auf das endgültige Transkript zu optimieren.

Wie genau ist die moderne Spracherkennung?

Bei sauberem, gut aufgenommenem Audio mit nur einem Sprecher erreichen moderne Modelle eine Wortfehlerrate (WER) von unter 5 Prozent. Bei verrauschtem, gesprächigem oder mehrsprachigem Audio liegt die WER üblicherweise zwischen 15 und 30 Prozent. Menschliche Transkribenten schaffen unter guten Bedingungen etwa 2 bis 4 Prozent WER und verschlechtern sich bei schwierigem Audio auf 10 bis 15 Prozent. Die Genauigkeit hängt am stärksten von der Audioqualität ab: Hintergrundgeräusche, überlappende Sprecher und eine niedrige Aufnahme-Bitrate sind die Hauptfaktoren, die selbst mit den besten Modellen die Fehlerrate in die Höhe treiben.

Quellen

• OpenAI Whisper Ankündigung und technische Details: https://openai.com/index/whisper/
• Whisper technisches Paper über OpenWhispr Zusammenfassung: https://openwhispr.com/blog/how-whisper-ai-works
• Geschichte der Spracherkennungs-Meilensteine (Milvus): https://milvus.io/ai-quick-reference/what-is-the-history-of-speech-recognition-technology
• Geschichte der ASR (Descript/Medium): https://medium.com/descript/a-brief-history-of-asr-automatic-speech-recognition-b8f338d4c0e5
• Audrey und frühe Systeme, Computer History Museum: https://computerhistory.org/blog/audrey-alexa-hal-and-more/
• Janet M. Baker Wikipedia (HMM/Dragon Ursprünge): https://en.wikipedia.org/wiki/Janet_M._Baker
• James K. Baker Wikipedia: https://en.wikipedia.org/wiki/James_K._Baker
• 2012 DNN-HMM Paper (Hinton et al.), IEEE Signal Processing Magazine: https://www.cs.toronto.edu/~gdahl/papers/deepSpeechReviewSPM2012.pdf
• CTC, Wikipedia: https://en.wikipedia.org/wiki/Connectionist_temporal_classification
• wav2vec 2.0 Paper (arXiv): https://arxiv.org/pdf/2006.11477
• „Attention Is All You Need" (arXiv): https://arxiv.org/abs/1706.03762
• WER Benchmarks und Genauigkeitsdiskussion (AssemblyAI): https://www.assemblyai.com/blog/word-error-rate-is-broken
• DARPA SUR Programm und Harpy (CMU historisches Dokument): https://rr.cs.cmu.edu/SUR.pdf
• Abtastrate und Nyquist für ASR (Picovoice): https://picovoice.ai/blog/audio-sampling-and-sample-rate/