マルチモーダルAIと文字起こし：実際に何が変わるのか

マルチモーダルで何が変わるのか

商用文字起こしの最初の30年間、すべてのシステムは単一のチャネルで動作していました。音声を入力し、テキストを出力する。ソースが動画であっても、モデルが処理していたのは音声トラックだけです。話者ラベル、画面上のテキスト、名札、スライド——動画を見ている人間が自然に使うはずの視覚的な文脈は、モデルが入力を目にする前にすべて捨てられていました。

この構造は、大規模マルチモーダルモデルの成熟とともに変わりました。Gemini 2.5 Proは動画ファイルをネイティブに受け付け、1回のAPI呼び出しで音声とともにフレームをサンプリングします。GPT-4oは動画から抽出した画像フレームを音声と並行して処理でき、文字起こし中に視覚的な文脈を得られます。どちらも「スクリーンショットを添えただけの文字起こしモデル」ではありません。デコードの過程で、視覚ストリームと音声ストリームが互いに情報を補完し合うのです。

文字起こしに限って言えば、これにより、音声のみのシステムが数十年苦しんできた3つの課題が解消されます。

より正確な話者識別

音声のみのダイアライゼーションは、声の特徴だけで発話を分割します。 はっきり異なる2つの声ならそれなりに機能しますが、話者同士の声の高さが似ている場合、片方の話者が支配的な場合、あるいは2人が同時に話す場合には精度が落ちます。ビデオ会議を「見る」マルチモーダルモデルなら、誰がカメラに映っているかを観察し、ビデオ通話のギャラリービューに表示された名前を読み取り、見える唇の動きと音声ストリームを照合できます。

会議録画における音声映像ダイアライゼーションを専門に評価したMISP 2025 Challengeで発表された研究は、この分野の現実的な上限を示しています。同チャレンジで最も優れた音声映像システムは、Diarization Error Rate 8.09%を達成しました。これは音声のみのベースラインからの有意な改善ですが、ゼロではありません。参加者全員が画面に映っていてラベル付きのビデオ会議であれば、本番システムはさらに良い結果を出せます。しかし、話者がカメラ外にいるセグメントでは、視覚的な優位性は完全に失われます。

一つ正直に指摘しておきたいのは、「AIリップリーディング」というよくある説明は、これらのモデルが実際に行っていることを誇張しているという点です。モデルは口の形から音素を復号する専用のリップリーディングモジュールを動かしているわけではありません。およそ毎秒1フレームでフレームをサンプリングし、生成時にその視覚的文脈を音声と併せて使っているのです。効果は確かにありますが、それは「耳の代わりに唇を読む」というより、「同点を決めるための視覚的文脈」に近いものです。

画面上のテキストから固有名詞を正確に

誰かが動画の中で「私たちはLangGraphを使っています」と言ったとき、音声のみのモデルは複数のありそうな表記の中から一つを選ばなければなりません。話者の画面に表示された製品ロゴや、その用語を紹介するスライドを読めるマルチモーダルモデルなら、その選択を正しく固定できます。

これは文字起こしの精度について最も根強い不満の一つです。固有名詞、製品名、専門用語が、一般的な同音異義語として書き起こされてしまう問題です。視覚レイヤーは、ソースが動画で該当する用語が画面に表示されている場合には役立ちます。音声のみの録音では役に立ちません。

スライドと画面コンテンツからの文脈

「この式を見てみましょう」とだけ書かれた講義のトランスクリプトは、式そのものが含まれているものほど有用ではありません。動画フレームをもとに動作するGemini 2.5 Proは、スライドからテキストを、画面収録からコードを、ホワイトボードから見出しを抽出できます。結果として得られるトランスクリプトは、速記の記録というより、読み物としてのドキュメントに近くなります。

これが最も重要になるのは、技術系・教育系のコンテンツです。エンジニアリングの講演、製品デモ、研修動画、大学の講義など。こうしたフォーマットでは、マルチモーダル処理は音声のみの処理とは質的に異なる出力を生み出します。

今日この能力を活用しているツール

マルチモーダルの能力はAPIレイヤーには存在します。ユーザー向け製品がそれを公開しているかどうかは、ツール次第です。

Gemini 2.5 Pro(Google AI / Vertex AI)。 File API経由で動画ファイルをネイティブに受け付けます。動画はデフォルトで毎秒1フレーム、音声は1 Kbpsでサンプリングされます。長い会議の録画をアップロードし、話者ラベル付きのトランスクリプト、スライド内容の抽出、タイムスタンプを1回の呼び出しで要求できます。Geminiは動画を約300トークン/秒で処理します。1時間の動画なら約108万入力トークンとなり、Gemini 2.5 Proでは20万トークン超の価格帯(100万トークンあたり2.50ドル)に該当します。つまり出力トークンを除けば、その1時間分の入力コストだけで約2.70ドルかかる計算です。

GPT-4o(OpenAI)。 文字起こしのために動画ファイルを直接受け付けることはありません。専用のgpt-4o-transcribeモデルは音声のみで、1分あたり0.006ドル(1時間あたり0.36ドル)です。GPT-4oで動画対応の文字起こしを行う実用的な方法は、動画から自分でフレームを抽出し、音声とともに画像入力として送信することですが、これは自前で多段階のパイプラインを組む必要があります。この用途では、Geminiのネイティブな動画サポートの方がシンプルです。

専業の文字起こしAPI。 2026年半ばの時点で、主要な専用音声認識API(Deepgram、AssemblyAI)は依然として音声のみです。動画入力を受け付けず、文字起こし中に視覚的文脈を使うこともありません。強みはコストとレイテンシです。Deepgram Nova-3の事前録音音声は1分あたり約0.0043ドル(1時間あたり0.26ドル)で、マルチモーダル処理コストのおよそ10分の1です。

差は歴然です。ほとんどのユースケースでは、音声のみが今も実用的なデフォルトであり続けます。

マルチモーダルがまだ及ばないところ

こうした進歩がある一方で、マルチモーダル文字起こしには明確な弱点があります。

カメラ外の話者。 フレーム内に話者が映っていなければ、視覚的な優位性は消えます。カンファレンスでの聴衆の質問、Bロールの上でナレーションする司会、カメラ外のインタビュアー——いずれの場合も、モデルは音声のみの挙動にフォールバックします。現実の動画にはこうしたセグメントが頻繁にあるため、実際の精度向上はベンチマークの数字が示唆するよりも低くなります。

圧縮された動画や暗所撮影の動画。 視覚的な手がかりは、モデルが読み取れる場合にしか役立ちません。強く圧縮された動画、低フレームレートの画面キャプチャ、暗い環境での録画は、いずれも視覚入力の品質を下げます。毎秒1フレームのサンプリングでは、速い動きも視覚ストリームの有用性を損ないます。

長尺コンテンツのコスト。 マルチモーダルの動画処理と音声のみの文字起こしのコスト差は、1時間のコンテンツでおよそ10倍です。価値の高い四半期オールハンズには適したツールですが、日常的な1対1通話の録画100件に対するデフォルトとしては適切ではありません。

非常に長い動画におけるコンテキストウィンドウの制限。 Gemini 2.5 Proの100万トークンのコンテキストウィンドウは、デフォルト解像度でおよそ55分の動画まで処理でき、そこで上限に達します。数時間に及ぶ録画の場合は動画を分割する必要があり、それが複雑さを増し、話者の発言を文の途中で分断してしまうこともあります。

外国語または混合言語のスライド。 話者が一つの言語で話しながら、スライドが別の言語で書かれている場合、モデルは両方を同時に扱わなければなりません。英語、スペイン語、その他の主要ヨーロッパ言語はテキスト抽出がうまく機能します。小規模な言語では結果の一貫性が低くなります。

今日から使える実践的なワークフロー

私の考えでは、ほとんどの本番運用において、音声のみの文字起こしが依然としてより良いデフォルトであり、マルチモーダルはピンポイントの修正パスとして使うのが最適です。

フルのマルチモーダル処理に費用をかけずに、強い結果を出せるワークフローがこちらです。

1. 音声トラックを抽出し、Deepgram Nova-3またはOpenAI Whisperを使って高速な音声のみの文字起こしを実行します。
2. トランスクリプトの不確かなセグメントを確認します。おかしな固有名詞、違和感のある話者ラベル、崩れてしまった専門用語などです。
3. 曖昧さの解消が必要な特定のセグメントについて、対応する動画フレームを添えてGemini 2.5 Proでターゲットを絞ったマルチモーダルパスを実行します。
4. マルチモーダルによる修正を音声のトランスクリプトに統合します。

この方法ならフルのマルチモーダル処理のごく一部のコストで済み、多くの場合、同等以上の出力が得られます。曖昧さのない長い区間については、専用の音声モデルの方が信頼できるからです。

全編を通じて精度が重要となる単発の高価値動画(カンファレンスの基調講演、製品発表の録画、取締役会向けプレゼンテーション)であれば、フルのマルチモーダルパスに払うプレミアムは正当化されます。ポッドキャストの文字起こしや、参加者がめったにカメラに映らない通話録音では、コストでも精度でも音声のみが勝ります。

こうしたパイプラインを一切管理せずに、きれいなトランスクリプトを素早く手に入れたいなら、ConvertAudioToTextの動画からテキストへの変換ツールが音声抽出と文字起こしをワンステップで処理します。

今後18ヶ月で注目すべきこと

コスト圧縮。 マルチモーダルの動画処理は、テキストのみのLLMと同じコスト低下曲線上にあります。1時間の動画の入力コストが0.50ドル未満に下がれば、ワークフローの計算は変わり、マルチモーダルはプレミアムオプションではなく合理的なデフォルトになります。

より良いフレームサンプリング。 現在のデフォルトである毎秒1フレームは、コストと精度の妥協点です。より高いサンプリングレートはより多くの視覚的文脈(特に唇の動きや急速に切り替わるスライド)を捉えますが、トークンコストは掛け算で増えていきます。動きの激しいセグメントや情報量の多いセグメントにトークンを集中させる適応型サンプリングが登場すると予想されます。

オンデバイスマルチモーダル。 AppleはiOS 18でボイスメモとメモアプリ向けのオンデバイス文字起こしを提供しています。モデルはAppleシリコン向けに最適化された約30億パラメータです。サーバー呼び出しなしで音声と動画フレームを同時に処理する完全なオンデバイスのマルチモーダル文字起こしは、まだ本番品質では利用できませんが、アーキテクチャの部品は揃っています。より大きな流れについては、AI文字起こしの未来をご覧ください。

特に話者ダイアライゼーションについては、MISP 2025の研究成果から、前者を後者で置き換えるのではなく、専用の音声ダイアライゼーションモデルとマルチモーダルの文脈を組み合わせることが、近い将来の最大の伸びしろになると示唆されています。

FAQ

マルチモーダルモデルはリップリーディングで文字起こしを改善できるのか?

部分的には可能ですが、重要な留保があります。MISP 2025 Challengeで評価されたような研究モデルは視覚的な唇領域エンコーダを使用し、音声映像タスクで最高8.09%のDiarization Error Rateを達成しており、これは音声のみのベースラインからの改善です。しかし、Gemini 2.5 ProやGPT-4oといった本番レベルのマルチモーダルモデルは、専用のリップリーディングモジュールではなく、サンプリングされた動画フレーム(通常は毎秒1フレーム)を使用しています。唇の動きを音声の文脈と照合するのであって、唇から直接音素を復号するわけではありません。実務上のメリットが最も顕著に現れるのは、話者の特定と曖昧さの解消であり、音声でまったく拾えなかった言葉の復元ではありません。

マルチモーダルの動画文字起こしは音声のみと比べてどれくらいコストがかかる?

差は大きいです。Deepgram Nova-3の事前録音音声は1分あたり約0.0043ドル(1時間あたり0.26ドル)。音声のみのGPT-4o-transcribeは1分あたり0.006ドル(1時間あたり0.36ドル)です。Gemini 2.5 Proは動画を約300トークン/秒で処理するため、1時間の動画で約108万入力トークンとなり、大きなプロンプトでは100万トークンあたり2.50ドルの価格設定です。出力トークンを除いた入力コストだけで、1時間のマルチモーダル動画処理に約2.70ドル、音声のみのおよそ10倍になります。プレミアムは現実のものであり、いつ支払う価値があるかは前述のワークフローのセクションで説明しています。

GPT-4oは文字起こしのために動画をネイティブに処理できる?

Geminiとは同じやり方ではありません。専用のgpt-4o-transcribeモデルは音声のみで、1分あたり0.006ドルです。GPT-4oで動画対応の文字起こしを行うには、抽出したフレームを音声とともに画像入力として送信する必要があり、自前で多段階のパイプラインを組む必要があります。Gemini 2.5 ProはFile API経由で動画ファイルをネイティブに受け付け、デフォルトで毎秒1フレームのサンプリングを行うため、動画中心のユースケースではワークフローがシンプルになります。

どんな種類の動画コンテンツがマルチモーダル文字起こしから最も恩恵を受ける?

視覚情報が加算的に働く構造化された動画です。スライド付きの講義録画、画面上のテキストがある製品デモ、名札や画面上のラベルで話者を識別できるカンファレンスのパネルディスカッション、技術的なワークフローの画面収録など。逆に、ポッドキャストのインタビュー、電話の録音、話者がカメラに映らないあらゆるシナリオといった音声主体のコンテンツでは、利得は最小限です。そうしたケースでは、標準的な音声のみの文字起こしエンジンの方が速く安く、同等の精度を発揮します。

出典

• Gemini APIの料金、Google AI for Developers
• Gemini動画理解のドキュメント
• Gemini 2.5による動画理解の前進、Google Developers Blog
• OpenAI APIの料金(音声モデル、GPT-4o-transcribe)
• Deepgram Nova-3の料金
• MISP 2025 Challenge:音声映像ダイアライゼーションと認識
• リップリーディングモデルの進展に関する包括的調査、IET Image Processing 2025
• GPT-4o-transcribeの登場、ScribeWave