Transkriptions-Konfidenzwerte erklärt: So nutzt du sie richtig

Was die Bewertung tatsächlich bedeutet

Ein Konfidenzwert ist die Schätzung des Modells, ausgedrückt als Zahl zwischen 0 und 1, dass ein bestimmtes Wort im Transkript korrekt ist. Ein Wert von 0,95 bedeutet, dass das Modell davon ausgeht, dass es dieses Wort mit etwa 95%iger Wahrscheinlichkeit richtig erkannt hat. Ein Wert von 0,42 bedeutet, dass es deutlich unsicherer war.

Der Wert liegt in den meisten Produktions-APIs auf Wortebene. Deepgram zum Beispiel gibt ein confidence-Feld pro Wort für jedes Wortobjekt in der API-Antwort zurück, das in der Dokumentation als „eine Gleitkommazahl zwischen 0 und 1, die die geschätzte Wahrscheinlichkeit des Modells darstellt, dass das Wort korrekt transkribiert wurde" definiert ist. In der Praxis sehen Sie bei sauberem Audio Werte, die sich nahe 1,0 häufen, weil das Modell bei klarer Sprache bei den meisten Wörtern wirklich sicher ist. Das Signal liegt in den Ausreißern.

Die Referenzausgabe von Whisper funktioniert anders. Sie bietet nativ keine Konfidenzwerte pro Wort. Stattdessen trägt jedes Segment avg_logprob (durchschnittliche Log-Wahrscheinlichkeit über das Segment, wobei negativere Werte mehr Unsicherheit bedeuten) und no_speech_prob (die Schätzung des Modells, dass während dieses Zeitfensters niemand gesprochen hat). Es gibt ohne zusätzliche Nachbearbeitung der Token-Wahrscheinlichkeiten kein direktes Äquivalent zu Deepgrams Wort-für-Wert-Wert. Tools, die Whisper umschließen, können aus Alignment-Durchläufen Schätzungen auf Wortebene ableiten, aber diese sind nicht dasselbe wie eine native Ausgabe pro Wort.

Warum die Zahlen schwieriger zu nutzen sind, als sie aussehen

Hohe Konfidenz ist keine Garantie

Eine Konfidenz von 0,99 bedeutet, dass ungefähr eines von hundert Wörtern mit diesem Wert falsch ist. Bei einem einstündigen Transkript mit 8.000 Wörtern ergeben selbst 1 % Fehler bei „sehr hoher Konfidenz“ etwa 80 Fehler. Das größere Risiko ist, dass moderne neuronale Modelle systematisch überkonfident sein können, besonders unter verrauschten Bedingungen. Forschung aus den Jahren 2024 und 2025 fand heraus, dass einige ASR-Modelle bei niedrigen Signal-Rausch-Verhältnissen 10-20 % der Tokens mit einer Konfidenz über 0,70 falsch vorhersagen. Das ist kein Makel eines einzelnen Produkts; es spiegelt wider, wie sich Softmax-Wahrscheinlichkeiten in neuronalen Decodern verhalten, wenn das Modell nicht kalibriert wurde.

Die praktische Konsequenz: Behandle hohe Konfidenz als Filter, nicht als Beweis. Sie sagt dir, wo du deine Überprüfungszeit zuletzt investieren solltest, nicht wo Fehler unmöglich sind.

Niedrige Konfidenz ist kein Urteil über Fehler

Das Gegenteil ist ebenso wahr. Ein Wort mit 0,45 Konfidenz kann völlig korrekt sein. Niedrige Konfidenz bedeutet meist, dass das Modell mehrere plausible Kandidaten in Betracht gezogen und einen mit knappem Vorsprung gewählt hat. Eigennamen, die die Engine selten gesehen hat, Zahlen, bei denen der Kontext mehrere Werte unterstützt, und Homophone, die sich erst im nächsten Satz auflösen, sind die häufigsten Wörter mit niedriger Konfidenz. Die richtige Reaktion ist, diese Wörter gegen das Audio zu prüfen, nicht anzunehmen, dass sie falsch sind.

Die Werte sind nicht über Engines hinweg vergleichbar

Das ist der wichtigste Vorbehalt und leicht zu übersehen. Eine 0,85 von Deepgram und eine 0,85 von einer anderen Engine sind nicht dieselbe Aussage. Deepgrams eigene Dokumentation sagt es direkt: „Konfidenz-Score-Definitionen und Kalibrierung variieren zwischen STT-Anbietern. Du kannst rohe Konfidenzverteilungen nicht direkt zwischen Anbietern vergleichen.“ Verschiedene Engines verwenden unterschiedliche Wahrscheinlichkeitsskalen, unterschiedliche Kalibrierungsanpassungen und manchmal unterschiedliche Definitionen dessen, was der Score überhaupt darstellt. Wenn du Engines basierend auf der durchschnittlichen Konfidenzausgabe auswählst, vergleichst du inkompatible Zahlen.

Ein aussagekräftiger Engine-Vergleich erfordert, dass beide auf demselben Audio laufen, die Ausgabe manuell geprüft wird und die tatsächliche Wortfehlerrate gemessen wird. Siehe Transkriptionsgenauigkeit erklärt für die korrekte Vorgehensweise.

Wortebene vs. Segmentebene

Wortebenen-Konfidenz weist jedem einzelnen Wort einen Zahlenwert zu. Das ist das praktischste Format für die Transkriptprüfung, weil Sie direkt zu dem konkreten Wort springen können, das unsicher war.

Segmentebenen-Konfidenz weist einer Phrase oder einem Satzblock eine einzelne Zahl zu. Deepgrams Transkript-Score ist der Median der Wortebenen-Werte in diesem Abschnitt. Whisper's avg_logprob ist eine Log-Wahrscheinlichkeit auf Segmentebene. Beide sind nützlich, um ein langes Transkript zu überfliegen und grobe Abschnitte zu finden, aber keiner sagt Ihnen, welches Wort innerhalb eines markierten Segments das Problem ist.

Für praktische Prüfarbeit ist die Wortebene das bessere Werkzeug. Für Routing-Entscheidungen (dieses Segment an einen menschlichen Prüfer senden) reicht die Segmentebene oft aus.

Kalibrierung: Was sie ist und warum sie zählt

Ein kalibrierter Konfidenz-Score ist einer, bei dem die Zahl die Genauigkeit ehrlich widerspiegelt. Wenn Sie jedes Wort sammeln, das die Engine mit 0,90 bewertet hat, und es überprüfen, sollten genau 90% korrekt sein. Das ist Kalibrierung. Deepgram beschreibt seine Wortkonfidenz als „kalibrierte Wahrscheinlichkeit" mit genau dieser Eigenschaft als Ziel.

Die meisten neuronalen Modelle sind nicht von Haus aus perfekt kalibriert. Sie neigen am oberen Ende zu Überkonfidenz: Sie nennen etwas 0,95, wenn die tatsächliche Genauigkeit eher bei 0,88 liegt. Temperaturskalierung und andere Post-hoc-Techniken können das verbessern, aber nur wenige Produkte veröffentlichen, ob und wie sie diese anwenden.

Die praktische Antwort: Gehen Sie nicht davon aus, dass die Konfidenzzahl eine vollkommen ehrliche Wahrscheinlichkeit ist. Nutzen Sie sie als relatives Signal, nicht als absolutes. Verifizieren Sie sie an Ihren eigenen Daten, indem Sie eine Stichprobe von Wörtern in verschiedenen Konfidenzbereichen prüfen und sehen, welcher Anteil tatsächlich korrekt ist. Die daraus resultierende Kalibrierungskurve zeigt Ihnen, was jedes Konfidenzniveau bei Ihrem spezifischen Audiotyp tatsächlich bedeutet. Ein Interview mit starkem Akzent erzeugt eine andere Kalibrierungskurve als ein im Studio aufgenommener Podcast, selbst bei derselben Engine.

Konfidenzwerte in der Praxis nutzen

Sortieren Sie Ihre Überprüfung von niedrig nach hoch

Bei langen Transkripten sortieren oder filtern Sie Wörter nach Konfidenz und prüfen Sie zuerst die mit den niedrigsten Werten. Die meisten echten Fehler in einem 90-minütigen Transkript konzentrieren sich auf ein paar hundert Wörter unterhalb eines Schwellenwerts von 0,70. Wenn Sie genau diese Wörter gegen das Audio prüfen, erfassen Sie die Mehrheit der Fehler bei einem Bruchteil des Zeitaufwands, den ein komplettes Durchlesen von oben nach unten erfordert.

Die meisten Transkriptionstools für Verbraucher machen das über Farbhervorhebung sichtbar: Wörter mit niedriger Konfidenz erscheinen in einer anderen Farbe und Sie klicken sie durch. Wenn Sie mit roher API-Ausgabe arbeiten, filtern Sie die Wortliste nach dem Feld confidence und stellen Sie die Zeitstempel für diese Wörter in Ihrem Audioplayer in die Warteschlange.

Legen Sie einen Schwellenwert für automatisierte Qualitätskontrolle fest

Für Workflows mit hohem Volumen oder Compliance-Anforderungen legen Sie einen Schwellenwert fest und markieren Sie Transkripte oder Wörter, die darunter liegen, automatisch zur manuellen Überprüfung. Ein üblicher Ausgangspunkt ist 0,80 oder 0,85, aber der richtige Wert hängt davon ab, was Ihre Kalibrierungsprüfung für Ihren Audiotyp ergibt.

Das Unsicherheitssignal des Modells wird zu einem eingebauten Qualitätsgate. Das funktioniert gut in jeder Pipeline, in der die Transkriptqualität eine definierte Schwelle erreichen muss, bevor der Text in nachgelagerte Systeme fließt. Mehr dazu, was ein Transkript bei Qualität günstiger in der Produktion macht, findest du in den Preisbeiträgen, die abdecken, wofür du tatsächlich zahlst, wenn konfidenzbewusstes Review eingebaut ist.

Gewichte Treffer mit niedriger Konfidenz in nachgelagerten Systemen geringer

Wenn du Suche oder Analysen auf Basis von Transkripten aufbaust, behandle den Text als verrauschtes Signal statt als Ground Truth. Ein Keyword-Treffer auf einem Wort mit einem Score von 0,45 sollte weniger Gewicht tragen als ein Treffer bei 0,98. Ein Analytics-Dashboard, das Begriffs-Häufigkeiten zählt, sollte Konfidenzgewichtung berücksichtigen. Sonst pflanzt sich ein einzelner verwechselter Eigenname in irreführende nachgelagerte Daten fort.

Was Konfidenz nicht abdeckt

Die Grenzen zu kennen, ist genauso wichtig wie die Anwendungsfälle zu kennen.

Konfidenz erkennt keine semantisch plausiblen falschen Wörter. „Affect" versus „effect", „principal" versus „principle", „your" versus „you're" werden oft mit hoher Konfidenz transkribiert, weil die Engine sich für eine Variante entschieden hat, bevor der Kontext verfügbar war, um sie zu unterscheiden. Das sind echte Fehler, die der Score nicht markiert.

Konfidenz erkennt keine Halluzinationen während Stille. Wenn das Modell während einer stillen Passage Phantomtext generiert, könnte die Konfidenz auf diesen Phantomwörtern moderat sein, aber die Wörter sind komplett erfunden. Das ist ein separater Fehlermodus mit eigenen Erkennungssignalen, unabhängig vom Wort-Konfidenzfeld.

Konfidenz deckt keine Sprecherlabel-Genauigkeit ab. Die Transkriptionskonfidenz bezieht sich auf Wörter. Deepgram liefert bei vorab aufgenommenem Audio außerdem ein speaker_confidence-Feld für Diarisierungsergebnisse, aber das ist eine separate Zahl aus einem separaten Modell. Die beiden Signale sind unabhängig voneinander. Ein Wort kann korrekt transkribiert, aber dem falschen Sprecher zugeordnet werden, und keines der beiden Konfidenzfelder weist darauf hin. Siehe Sprecherdiarisierung erklärt für die Funktionsweise der Sprecherkonfidenz.

Konfidenz erkennt keine ausgelassenen Wörter. Wenn das Modell ein Wort gar nicht transkribiert hat, gibt es keinen Konfidenzwert, der das markieren könnte. Fehlende Wörter sind die schwierigsten Fehler, die man im Nachhinein erkennt, und sie fallen nicht in den Bereich, den die Konfidenzbewertung abdeckt.

Konfidenz über Engines hinweg: Deepgram und Whisper im Vergleich

Für Nutzer, die konfidenzbasierte Überprüfung oder nachgelagerte Gewichtung aufbauen möchten, ist Deepgrams Format praktischer. Whisper avg_logprob eignet sich für Routing-Entscheidungen (ein ganzes Segment markieren), erfordert aber zusätzliche Werkzeuge, um Werte pro Wort zu erzeugen. Siehe Deepgram Nova-3 erklärt für mehr Details zur Funktionsweise der Deepgram-Engine.

Meine Einschätzung: Das Nützlichste, was du mit Konfidenzwerten machen kannst, ist eine Kalibrierungsprüfung an einer Stichprobe deines eigenen Audiomaterials, bevor du irgendeinen automatisierten Workflow um Schwellenwerte herum baust. Was ein 0,80 bei deinem Material bedeutet, ist nicht dasselbe wie bei jemand anderem, und die Kurve verschiebt sich, wenn sich die Audiobedingungen ändern.

FAQ

Was ist ein guter Konfidenzwert für Transkription?

Es gibt keinen universellen Schwellenwert, weil sich die Konfidenzskalen je nach Engine unterscheiden. Innerhalb einer einzelnen Engine sind Wörter unter 0,80 einen zweiten Blick wert. Wörter unter 0,60 sollten fast immer überprüft werden. Aber diese Grenzwerte sind Ausgangspunkte, keine Garantien: Ein Wort bei 0,99 kann trotzdem falsch sein, und ein Wort bei 0,55 kann richtig sein.

Sind Konfidenzwerte zwischen Deepgram, Whisper und anderen Engines vergleichbar?

Nein. Die Dokumentation von Deepgram sagt ausdrücklich, dass Konfidenzdefinitionen und Kalibrierung je nach Anbieter variieren und dass rohe Werte nicht direkt verglichen werden können. Ein 0,85 von Deepgram und ein 0,85 von einer anderen Engine sind nicht dieselbe Aussage über Genauigkeit.

Warum erweist sich ein Wort mit hoher Konfidenz manchmal als falsch?

Das Modell legt sich Wort für Wort fest, bevor der vollständige Kontext verfügbar ist. Akustisch ähnliche Wörter („affect“ vs. „effect“, „principal“ vs. „principle“) können hohe Konfidenz erreichen, weil das Modell sie nie als mehrdeutig betrachtet hat, selbst wenn das falsche gewählt wurde. Übermäßige Selbstsicherheit unter Rauschen ist in der ASR-Forschung ebenfalls gut dokumentiert.

Bedeutet ein niedriger Konfidenzwert, dass das Wort falsch ist?

Nicht unbedingt. Ein niedriger Konfidenzwert signalisiert, dass das Modell mehrere plausible Kandidaten in Betracht gezogen hat und der gewählte nur knapp gewonnen hat. Der Gewinner kann trotzdem richtig sein. Die häufigsten Wörter mit niedriger Konfidenz sind Eigennamen, Zahlen und Homophone, bei denen der umgebende Kontext nicht ausreichte, um einen klaren Gewinner festzulegen.

Wenn Sie konfidenzbasierte Transkription ausprobieren möchten, ohne ein Konto anzulegen, verarbeitet das Audio-zu-Text-Tool von ConvertAudioToText Uploads sofort und liefert strukturierte Ausgaben, sofern die zugrunde liegende Engine Wortwerte unterstützt.

Quellen

• Deepgram Confidence Dokumentation - Definition, Kalibrierungsanspruch und Hinweis auf Anbieterunterschiede, geprüft am 02.07.2026
• Deepgram Diarisierungsdokumentation - speaker_confidence-Feld in vorab aufgezeichneten Ausgaben, geprüft am 02.07.2026
• OpenAI Whisper verbose_json Felder - bestätigt segmentbezogene avg_logprob- und no_speech_prob-Werte, keine native Wortkonfidenz, geprüft am 02.07.2026
• ASR Confidence Score Evaluation, arXiv 2503.15124 - automatisierte Fehlererkennung mithilfe von Konfidenzwerten, 2025
• ICLR-2024-Paper zur Kalibrierung von ASR-Konfidenzwerten - Überkonfidenzverhalten in neuronalen Modellen