Multimodale KI und Transkription: Was sich wirklich ändert

Was sich mit Multimodalität ändert

In den ersten drei Jahrzehnten kommerzieller Transkription arbeitete jedes System mit einem einzigen Kanal: Audio hinein, Text heraus. Selbst wenn die Quelle ein Video war, verarbeitete das Modell nur die Tonspur. Sprecherlabels, eingeblendeter Text, Namensschilder, Folien – der visuelle Kontext, den ein Mensch beim Ansehen des Videos ganz natürlich nutzen würde – wurde alles verworfen, bevor das Modell die Eingabe überhaupt sah.

Diese Architektur änderte sich, als große multimodale Modelle ausgereift waren. Gemini 2.5 Pro akzeptiert Videodateien nativ und tastet Bilder parallel zur Audiospur in einem einzigen API-Aufruf ab. GPT-4o kann aus Videos extrahierte Bildframes parallel zum Audio verarbeiten und erhält dadurch visuellen Kontext während der Transkription. Keines davon ist lediglich ein Transkriptionsmodell mit angehängtem Screenshot. Die visuelle und die auditive Datenquelle beeinflussen sich gegenseitig während der Dekodierung.

Speziell für die Transkription eröffnet das drei Dinge, mit denen reine Audio-Systeme jahrzehntelang zu kämpfen hatten.

Bessere Sprecheridentifikation

Reine Audio-Diarisierung trennt Sprache anhand stimmlicher Merkmale. Das funktioniert bei zwei deutlich unterschiedlichen Stimmen ordentlich, verschlechtert sich aber, wenn Sprecher ähnliche Tonlagen haben, wenn eine Person dominiert oder wenn zwei Personen gleichzeitig sprechen. Ein multimodales Modell, das ein Videomeeting betrachtet, kann beobachten, wer im Bild ist, Namensbeschriftungen in der Galerieansicht eines Videoanrufs lesen und sichtbare Lippenbewegungen mit dem Audiostream korrelieren.

Forschungsergebnisse aus der MISP 2025 Challenge, die speziell audiovisuelle Diarisierung an Meetingaufzeichnungen evaluierte, zeigen hier die tatsächliche Obergrenze. Das beste audiovisuelle System dieser Challenge erreichte eine Diarisierungsfehlerrate von 8,09 %. Das ist eine deutliche Verbesserung gegenüber reinen Audio-Baselines, aber es ist nicht null. Bei Videomeetings, in denen alle Teilnehmenden im Bild und beschriftet sind, schneiden Produktionssysteme besser ab. In jedem Segment, in dem ein Sprecher außerhalb des Bildes bleibt, verschwindet der visuelle Vorteil vollständig.

Eine Sache sollte man ehrlich benennen: Die populäre Erzählung vom „KI-Lippenlesen“ übertreibt, was diese Modelle tatsächlich tun. Sie führen kein dediziertes Lippenlese-Modul aus, das Phoneme aus Mundformen dekodiert. Sie tasten mit etwa 1 Bild pro Sekunde ab und nutzen diesen visuellen Kontext neben dem Audio während der Generierung. Der Nutzen ist real, aber er ist eher „visueller Kontext, um Unentschieden zu entscheiden“ als „mit den Augen statt mit den Ohren lesen“.

Korrekte Eigennamen dank eingeblendetem Text

Wenn jemand in einem Video sagt „wir verwenden LangGraph“, muss ein reines Audio-Modell zwischen mehreren plausiblen Transkriptionen wählen. Ein multimodales Modell, das ein Produktlogo auf dem Bildschirm des Sprechers erkennen oder eine Folie lesen kann, die den Begriff einführt, kann diese Wahl korrekt verankern.

Das ist eine der hartnäckigsten Beschwerden über die Transkriptionsgenauigkeit: Eigennamen, Produktnamen und Fachjargon, die als Homophone gewöhnlicher Wörter transkribiert werden. Die visuelle Ebene hilft, wenn die Quelle ein Video ist und der relevante Begriff auf dem Bildschirm erscheint. Bei reinen Audioaufnahmen hilft sie nicht.

Kontext aus Folien und Bildschirminhalten

Ein Vorlesungstranskript, das lautet „sehen wir uns diese Gleichung an“, ist weniger nützlich als eines, das die Gleichung selbst enthält. Gemini 2.5 Pro kann aus Videoframes Text aus Folien, Code aus Bildschirmaufnahmen und Überschriften von Whiteboards extrahieren. Das resultierende Transkript liest sich eher wie ein Dokument als wie eine stenografische Aufzeichnung.

Das ist am wichtigsten für technische und bildende Inhalte: Engineering-Vorträge, Produktdemos, Schulungsvideos, Universitätsvorlesungen. Für diese Formate liefert Multimodalität qualitativ andere Ergebnisse als reine Audioverarbeitung.

Tools, die das heute nutzen

Die multimodale Fähigkeit existiert auf der API-Ebene. Ob ein nutzerorientiertes Produkt sie zugänglich macht, hängt vom jeweiligen Tool ab.

Gemini 2.5 Pro (Google AI / Vertex AI). Nimmt Videodateien nativ über die File API entgegen. Videos werden standardmäßig mit 1 Bild pro Sekunde abgetastet, Audio mit 1 Kbps. Sie können eine lange Meetingaufzeichnung hochladen und in einem einzigen Aufruf ein Transkript mit Sprecherlabels, Folieninhalt-Extraktion und Zeitstempeln anfordern. Gemini verarbeitet Video mit etwa 300 Tokens pro Sekunde Filmmaterial. Bei einem einstündigen Video sind das rund 1,08 Millionen Eingabe-Tokens, was in die Preisklasse über 200K fällt: 2,50 $ pro Million Tokens bei Gemini 2.5 Pro. Allein die Eingabe kostet für diese Stunde also rund 2,70 $ – noch vor Ausgabe-Tokens.

GPT-4o (OpenAI). Akzeptiert keine Videodateien direkt für die Transkription. Das spezialisierte gpt-4o-transcribe-Modell ist rein audio-basiert und kostet 0,006 $ pro Minute (0,36 $/Stunde). Für videounterstützte Transkription mit GPT-4o ist der praktikable Weg, die Frames selbst aus dem Video zu extrahieren und sie als Bildeingaben zusammen mit dem Audio zu übermitteln – das erfordert eine mehrstufige Pipeline auf Ihrer Seite. Geminis native Videounterstützung ist für diesen Anwendungsfall einfacher.

Spezialisierte Transkriptions-APIs. Mitte 2026 bleiben die großen spezialisierten Speech-to-Text-APIs (Deepgram, AssemblyAI) rein audio-basiert. Sie nehmen keine Videoeingaben an und nutzen keinen visuellen Kontext während der Transkription. Ihr Vorteil liegt bei Kosten und Latenz: Deepgram Nova-3 für vorab aufgezeichnetes Audio kostet rund 0,0043 $ pro Minute (0,26 $/Stunde), etwa ein Zehntel der Kosten multimodaler Verarbeitung.

Die Lücke ist real. Für die meisten Anwendungsfälle bleibt reines Audio der praktische Standard.

Wo Multimodalität weiterhin an Grenzen stößt

Trotz aller Fortschritte hat die multimodale Transkription klare Schwachstellen.

Sprecher außerhalb des Bildes. Ist ein Sprecher im Frame nicht sichtbar, verpufft der visuelle Vorteil. Publikumsfragen auf einer Konferenz, ein Moderator, der über B-Roll spricht, ein Interviewer außerhalb des Bildes: In all diesen Fällen fällt das Modell auf reines Audio-Verhalten zurück. Da echtes Video häufig solche Segmente enthält, fallen die tatsächlichen Genauigkeitsgewinne niedriger aus, als Benchmark-Zahlen suggerieren.

Komprimiertes oder schwach beleuchtetes Video. Visuelle Hinweise helfen nur, wenn das Modell sie lesen kann. Stark komprimiertes Video, Bildschirmaufnahmen mit niedriger Framerate und Aufnahmen bei wenig Licht beeinträchtigen alle die visuelle Eingabe. Bei einer Abtastung von 1 Bild pro Sekunde verringert schnelle Bewegung zudem den Nutzen des visuellen Streams.

Kosten langer Formate. Der Kostenunterschied zwischen multimodaler Videoverarbeitung und reiner Audio-Transkription beträgt für eine Stunde Inhalt grob das Zehnfache. Das ist das richtige Werkzeug für ein wichtiges vierteljährliches All-Hands-Meeting; nicht aber der richtige Standard für hundert routinemäßige Aufzeichnungen von Einzelgesprächen.

Kontextfenster-Grenzen bei sehr langen Videos. Das Kontextfenster von Gemini 2.5 Pro mit 1 Million Tokens bewältigt bei Standardauflösung etwa 55 Minuten Video, bevor es an seine Grenzen stößt. Bei einer mehrstündigen Aufzeichnung müssen Sie das Video in Abschnitte teilen, was Komplexität hinzufügt und Sprecher mitten im Satz zerschneiden kann.

Fremdsprachige oder gemischtsprachige Folien. Spricht der Sprecher in einer Sprache, während die Folien in einer anderen gehalten sind, muss das Modell beides gleichzeitig verarbeiten. Englisch, Spanisch und große europäische Sprachen funktionieren bei der Textextraktion gut. Kleinere Sprachen liefern weniger konsistente Ergebnisse.

Ein praktischer Workflow, der heute funktioniert

Meine Einschätzung: Für die meisten produktiven Einsätze ist die reine Audio-Transkription nach wie vor der bessere Standard – mit Multimodalität als gezieltem Korrekturdurchlauf.

Ein Workflow, der starke Ergebnisse liefert, ohne die volle multimodale Verarbeitung bezahlen zu müssen:

1. Extrahieren Sie die Tonspur und erstellen Sie ein schnelles reines Audio-Transkript mit Deepgram Nova-3 oder OpenAI Whisper.
2. Prüfen Sie das Transkript auf unsichere Stellen: Eigennamen, die falsch wirken, Sprecherlabels, die nicht passen, Fachbegriffe, die verdreht wurden.
3. Führen Sie mit Gemini 2.5 Pro einen gezielten multimodalen Durchlauf für genau die Segmente durch, die eine Disambiguierung brauchen, und liefern Sie die entsprechenden Videoframes mit.
4. Übernehmen Sie die multimodalen Korrekturen ins Audio-Transkript.

Das kostet einen Bruchteil der vollen multimodalen Verarbeitung und liefert meist vergleichbare oder bessere Ergebnisse, weil das spezialisierte Audio-Modell bei langen eindeutigen Passagen zuverlässiger ist.

Bei einem einzelnen besonders wertvollen Video, bei dem Genauigkeit durchgängig zählt (eine Konferenz-Keynote, eine Aufzeichnung einer Produkteinführung, eine Präsentation vor dem Vorstand), lohnt sich der volle multimodale Durchlauf trotz Aufpreis. Bei der Podcast-Transkription oder Gesprächsaufzeichnungen, bei denen Teilnehmende selten im Bild sind, gewinnt reines Audio bei Kosten wie Genauigkeit.

Wenn Sie saubere Transkripte schnell brauchen, ohne diese Pipeline selbst zu managen, erledigt das Video-zu-Text-Werkzeug von ConvertAudioToText Audioextraktion und Transkription in einem Schritt.

Worauf in den nächsten 18 Monaten zu achten ist

Kostendegression. Die multimodale Videoverarbeitung befindet sich auf derselben Kostenabwärtskurve wie reine Text-LLMs. Sobald die Eingabekosten für ein einstündiges Video unter 0,50 $ fallen, kippt die Rechnung, und Multimodalität wird zum vernünftigen Standard statt zur Premium-Option.

Bessere Frame-Abtastung. Der heutige Standard von 1 Bild pro Sekunde ist ein Kompromiss zwischen Kosten und Genauigkeit. Höhere Abtastraten erfassen mehr visuellen Kontext (insbesondere Lippenbewegungen und schnell wechselnde Folien), vervielfachen aber die Token-Kosten. Zu erwarten ist adaptive Abtastung, die Tokens auf bewegungsreiche oder informationsdichte Segmente konzentriert.

Multimodalität auf dem Gerät. Apple liefert mit iOS 18 On-Device-Transkription für Diktiergerät und Notizen aus. Die Modelle haben rund 3 Milliarden Parameter und sind für Apple Silicon optimiert. Vollständige multimodale Transkription auf dem Gerät – bei der das Modell Audio und Videoframes gleichzeitig ohne Serveraufruf verarbeitet – ist in Produktionsqualität noch nicht verfügbar, doch die architektonischen Bausteine stehen bereits. Für den größeren Verlauf siehe die Zukunft der KI-Transkription.

Speziell bei der Sprecherdiarisierung deuten die Forschungsergebnisse der MISP 2025 darauf hin, dass die besten kurzfristigen Gewinne daraus entstehen werden, dedizierte Audio-Diarisierungsmodelle mit multimodalem Kontext zu kombinieren – statt das eine durch das andere zu ersetzen.

FAQ

Kann ein multimodales Modell Lippen lesen, um die Transkription zu verbessern?

Teilweise, allerdings mit wichtigen Einschränkungen. Forschungsmodelle wie die in der MISP 2025 Challenge evaluierten verwenden visuelle Encoder für den Lippenbereich und erreichten eine beste Diarisierungsfehlerrate von 8,09 % bei audiovisuellen Aufgaben – eine Verbesserung gegenüber reinen Audio-Baselines. Produktionsmodelle wie Gemini 2.5 Pro und GPT-4o nutzen dagegen abgetastete Videobilder (typischerweise 1 Bild pro Sekunde) und keine dedizierten Lippenlese-Module. Sie korrelieren Lippenbewegungen mit dem Audiokontext, statt Phoneme direkt von den Lippen abzulesen. Der praktische Nutzen zeigt sich vor allem bei der Sprecheridentifikation und -disambiguierung, nicht darin, Wörter zu rekonstruieren, die das Audio vollständig verpasst hat.

Wie viel kostet multimodale Video-Transkription im Vergleich zu reiner Audio-Transkription?

Der Unterschied ist erheblich. Deepgram Nova-3 für vorab aufgezeichnetes Audio kostet etwa 0,0043 $ pro Minute (0,26 $ pro Stunde). GPT-4o-transcribe, das ausschließlich Audio verarbeitet, kostet 0,006 $ pro Minute (0,36 $ pro Stunde). Gemini 2.5 Pro verarbeitet Video mit etwa 300 Tokens pro Sekunde, was bei einem einstündigen Video rund 1,08 Millionen Eingabe-Tokens entspricht – zum Preis von 2,50 $ pro Million Tokens für große Prompts. Das ergibt allein für die Eingabe rund 2,70 $ pro Stunde multimodaler Videoverarbeitung, also ungefähr das Zehnfache des reinen Audio-Tarifs – noch vor Ausgabe-Tokens. Der Aufpreis ist real, und der Workflow-Abschnitt oben erklärt, wann er sich lohnt.

Verarbeitet GPT-4o Video nativ für die Transkription?

Nicht auf dieselbe Weise wie Gemini. Das spezialisierte gpt-4o-transcribe-Modell ist rein audio-basiert und kostet 0,006 $ pro Minute. Um GPT-4o für videounterstützte Transkription zu nutzen, übermitteln Sie extrahierte Frames als Bildeingaben zusammen mit dem Audio – das erfordert eine mehrstufige Pipeline auf Ihrer Seite. Gemini 2.5 Pro nimmt Videodateien nativ über die File API entgegen und tastet standardmäßig mit 1 Bild pro Sekunde ab, was den Workflow für videolastige Anwendungsfälle einfacher macht.

Welche Arten von Videoinhalten profitieren am meisten von multimodaler Transkription?

Strukturierte Videos, bei denen visuelle Informationen einen echten Mehrwert bieten: Vorlesungsaufzeichnungen mit Folien, Produktdemos mit eingeblendetem Text, Konferenzpanels, auf denen Namensschilder oder eingeblendete Beschriftungen die Sprecher identifizieren, sowie Bildschirmaufnahmen technischer Workflows. Am kleinsten sind die Gewinne bei audiozentrierten Inhalten wie Podcast-Interviews, Telefonataufzeichnungen oder jedem Szenario, in dem Sprecher außerhalb des Bildes bleiben. Dafür ist eine Standard-Transkriptions-Engine ohne Video schneller und günstiger bei vergleichbarer Genauigkeit.

Quellen

• Gemini API Preise, Google AI for Developers
• Dokumentation zu Gemini Video Understanding
• Fortschritte beim Video-Understanding mit Gemini 2.5, Google Developers Blog
• OpenAI API Preise (Audio-Modelle, GPT-4o-transcribe)
• Deepgram Nova-3 Preise
• MISP 2025 Challenge: Audio-visuelle Diarisierung und Erkennung
• Umfassender Überblick über Fortschritte bei Lippenlese-Modellen, IET Image Processing 2025
• Start von GPT-4o-transcribe, ScribeWave