Whisper Large-v3解説、アーキテクチャ、WER、限界（2026年版）

Whisper Large-v3は、OpenAIが2023年11月に公開したオープンウェイトの音声認識モデルです。 パラメータ数は15.5億、対応言語は99言語で、2024年と2025年に作られた文字起こしツールの多くがこのモデルを中心に据えています。この記事では、アーキテクチャ、学習データの背景、検証済みのベンチマーク数値、そして本番環境で直面する実際の失敗パターンについて解説します。

アーキテクチャ:エンコーダ・デコーダ型Transformer

Whisperはシーケンス間変換を行うTransformerで、クロスアテンションで接続された2つの半分から構成されています。

エンコーダは生の音声をコンパクトな表現に変換します。 音声はまず、128個の周波数ビンを使ってログメルスペクトログラムに変換されます(Large-v3では、以前のバージョンの80ビンからこの数値に増加しました)。スペクトログラムはTransformerブロックのスタックに入力され、時間経過に伴う音声内容の高次元エンコーディングを生成します。エンコーダは30秒のウィンドウで音声を処理します。

デコーダは自己回帰型で、出力トークンを1つずつ生成し、エンコーダの出力と自身の過去のトークンの両方にアテンションを向けます。この単一の生成プロセスが、特殊トークンのルーティングを通じて文字起こし、翻訳、言語識別、音声アクティビティ検出を処理します。同じモデルが、フランス語の音声からフランス語のテキストを、英語の音声から英語のテキストを、翻訳モードでは外国語の音声から英語のテキストを生成します。

Large-v3に関して具体的に言うと、アーキテクチャはエンコーダ32層、デコーダ32層、モデル幅1,280、アテンションヘッド20個です。これらの数値はLarge-v2から変わっていません。v3で変わったのは学習データとメルビン数です。

v3の背後にある学習データ

元のWhisper(2022年)は、68万時間の弱ラベル付きウェブ音声で学習しました。 Large-v3はそれを大幅に拡張しています。

v3の学習混合は以下の通りです:

• 100万時間の弱ラベル付き音声(人間が書き起こしたもの、またはウェブからペアリングされたもの)
• 400万時間の疑似ラベル付き音声(Large-v2をラベルなしデータに適用して生成)

合計で500万時間、2エポックで学習されています。疑似ラベル付けアプローチ、つまり既存モデルを使って新しいデータに注釈を付ける手法が、v3が幅広い言語でv2に対して10〜20%のエラー削減を示す主な理由です。疑似ラベルの品質はLarge-v2自体によって制限されており、それがこのアプローチの強みであり、同時に上限でもあります。

2022年の論文による元の68万時間の内訳から、言語分布の概要がわかります。英語の音声と英語の書き起こしが約43万8000時間、非英語の音声と母語の書き起こしが11万7000時間、非英語の音声と英語の翻訳が12万5000時間です。最後のカテゴリが、Whisperに翻訳機能をそのまま備えさせている理由です。

検証済みWERベンチマーク

公式モデルカードとHugging Face Open ASR Leaderboardから取得した数値で、Common Voice 15とFleursで評価されています。

実際の音声、会議、ポッドキャスト、電話、インタビューは、通常8〜12%のWER範囲になります。LibriSpeech test-cleanは理想に近い録音条件の読み上げオーディオブックなので、2.7%という数値は平均ではなく上限を表しています。

参考までに、NVIDIAのParakeetやCanaryといった新しいオープンソースモデルは、LibriSpeech test-cleanでWhisperを上回っています（WER約1.6〜1.7%）。展開されたツールにおけるWhisperの支配的な地位は、エコシステムの成熟度、言語カバレッジ、そしてその周りの最適化されたランタイムの幅広さによるもので、リーダーボード上位の精度によるものではありません。

言語カバレッジ: 99言語、ただし偏りあり

Whisper Large-v3は公式に99言語をサポートしており、v3では広東語が新しい言語トークンとして追加されました。性能は、トレーニングデータ量が多い言語に大きく集中しています。

最もサポートが充実している言語には、英語、スペイン語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語が含まれます。低リソース言語、多くのアフリカ言語、南アジアの地域言語での性能は、WER 25〜35%以上に達することがあります。上記のヒンディー語ベンチマーク（26.8%）は、中程度の高リソース言語でも難しい音声でどこに位置するかを示す具体的なデータポイントです。

低リソース言語のユースケースについては、AIが低リソース言語で苦戦する理由の内訳をご覧ください。

Large-v3がLarge-v2から改善した点

アーキテクチャはv2とv3で基本的に同じです。改善は以下からもたらされています:

• メル周波数ビンの増加（80から128へ）。エンコーダの周波数分解能がより細かくなりました。
• トレーニングセットが元の68万時間から500万時間に拡大。Large-v2からの擬似ラベリングを使用。
• 全言語で10〜20%のエラー削減。特に低リソース言語で顕著。
• タイムスタンプ精度の向上。
• コードスイッチング（話者が文の途中で2つの言語を混在させる）への対応改善。

v3リリース後に広まった幻覚（ハルシネーション）減少の主張は部分的に正しいです。v3は一部の条件下でv2より幻覚が少ないものの、問題は解決されていません。これは本番環境での既知の弱点として残っています。

Turboバリアント（2024年10月）

OpenAIは2024年10月にWhisper Large-v3-Turboをリリースしました。 主な変更点はデコーダの刈り込みです。32層のデコーダが4層に削減され、パラメータ数は15.5億から8.09億に減少しました。エンコーダは変更されていません。

結果として、推論速度は2〜5倍高速になり、OpenAIの説明では「品質の軽微な低下」が見られます。NVIDIA GPUでは、リアルタイムファクターの測定により、Turboが音声をリアルタイムより大幅に速く処理することが示されています。トレードオフとして、Turboはファインチューニングから翻訳タスクを除外しているため、文字起こしのみを扱います。

ほとんどの本番環境でのバッチ文字起こしユースケースでは、インフラを自前で管理する場合、Turboが現在のデフォルト選択肢です。精度の差は小さく、通常はスループットの向上がそれを上回ります。

本番環境での既知の弱点

無音時の幻覚。 Whisperのデコーダーは、音声が存在しない場合でも、特に温度0の設定でトークンを生成し続けます。出力は、実際には発話されていないにもかかわらず、もっともらしく聞こえるテキストになることがよくあります。標準的な修正方法は、VAD（音声アクティビティ検出）による前処理で、モデルに到達する前に無音セグメントを除去することです。固定の浮動小数点数ではなく、増加する温度値のタプルを提供する温度フォールバックスケジュールも、ループを減らすのに役立ちます。VADの仕組みに関する記事で、この技術を詳しく解説しています。

ネイティブな話者ダイアリゼーションがない。 Whisperは、話者ラベルのない連続した文字起こしを生成します。標準的な解決策はWhisperXで、Whisper（faster-whisperバックエンド経由）、wav2vec2を使用した強制音素レベルのアライメント、pyannote.audioによるダイアリゼーションを1つのパイプラインに連結します。各ステージは独立して実行することも可能です。ダイアリゼーションの詳細については、話者ダイアリゼーションの解説を参照してください。

リアルタイムストリーミングには不向き。 30秒の処理ウィンドウと自己回帰デコーダーにより、低遅延のストリーミングは困難です。ストリーミング用に構築されたモデルは異なるアーキテクチャを使用し、通常はストリーミングCTCまたは部分仮説出力を備えたチャンクアテンションを採用します。DeepgramのNovaシリーズは、リアルタイムユースケースで最も一般的な代替手段です。Deepgram Nova-3の記事で比較を詳しく取り上げています。

チャンク間のコンテキストなし。 60分の音声ファイルは、30秒のチャンクが120個連続したものとして処理されます。チャンク5を処理するとき、モデルはチャンク1の記憶を持っていません。早い段階で登場した名前、略語、用語は、同じファイル内の後半で一貫性なく文字起こしされる可能性があります。

専門用語。 Whisperには語彙バイアス機構がありません。医療、法律、金融の専門用語でトレーニングデータに頻繁に登場しなかったものは、クリーンな音声でもエラーを生じます。ドメイン固有データでのファインチューニングが、高リスクな専門用途には正しい解決策です。

Whisperを自分で実行する

ローカル展開には3つの実用的な方法があります：

OpenAIのリファレンス実装（Python）。正規のコードで、推論は最も遅いです。モデルの動作をテストしたりデバッグしたりするのに適していますが、本番スループットには向いていません。

Whisper.cpp（C++）。CPU、Apple Silicon（Metal）、CUDA、Vulkanで動作します。Macでの展開や組み込みシステムに最適な選択肢です。Pythonへの依存はありません。

Faster-Whisper（Python、CTranslate2経由）。NVIDIA GPU上でリファレンス実装より4倍高速に動作し、INT8量子化によりVRAM使用量を約40%削減します。Linux GPUサーバーでの標準的な選択肢です。

3つとも同じモデルウェイトから同等の出力を生成します。違いは推論速度とリソース使用量だけです。

ライセンス

Whisperのコードとウェイトは、公式のOpenAI GitHubリポジトリによるとMITライセンスで公開されています。Hugging FaceのモデルカードにはApache 2.0と記載されています。どちらも寛容なライセンスで、ロイヤリティなしでの商用利用を許可しています。特定のライセンスが必要な場合は、Hugging Faceの記載に頼るのではなく、GitHubリポジトリを直接確認してください。

Whisperが適している場合と、そうでない場合

Whisper Large-v3は以下の用途に強いデフォルトです：

• 録音済み音声のバッチ文字起こし。
• 多言語コンテンツ、またはソース言語が不明な場合。
• 翻訳タスク（非英語音声から英語テキストへ）。
• 自社インフラで実行できるオープンウェイトモデルが必要な用途。

これは以下の用途には不適切な選択です:

• リアルタイムまたは低遅延のストリーミングには、ストリーミング最適化モデルを代わりに使うこと。
• 話者属性付きの会議文字起こしには、ダイアライゼーション層を追加するか、それをバンドルしたサービスを利用すること。
• 微調整なしの専門用語が多用される分野には、ドメイン適応が必要です。

文字起こしアプローチとそのコストの広範な比較については、文字起こし価格比較と最高の音声認識API概要を参照してください。

インフラを一切構築せずに自分の音声でWhisperを評価したい場合は、ConvertAudioToTextの無料プランがアップロードされた音声に対してWhisper Large-v3パイプラインを実行します。サンプルファイルをアップロードし、実装パスを確定する前に出力をベンチマークと比較してください。

よくある質問

Whisper Large-v3のパラメータ数はいくつですか?

Whisper Large-v3は15億5,000万パラメータ(1.55B)です。2024年10月のTurboバリアントは、デコーダを32層から4層に削減して8億900万に減らし、推論速度を2〜5倍高速化しつつ、精度はわずかに犠牲になっています。

Whisper Large-v3のワードエラー率はどのくらいですか?

LibriSpeech test-clean(英語のオーディオブック音声の読み上げ)では、Whisper Large-v3はWER 2.7%を達成します。より難しいtest-other分割では5.2%に達します。Open ASR Leaderboardベンチマーク混合全体の平均WERは7.44です。ノイズ、アクセント、または電話品質を含む実世界の音声では、通常8〜12%の範囲になります。

Whisper Large-v3は話者ダイアライゼーションに対応していますか?

いいえ。Whisperはネイティブに誰が話しているかをラベル付けしません。標準的なアプローチは、Whisperで文字起こしを実行し、その後pyannote.audioを別途実行して話者の境界を特定し、ワードレベルのタイムスタンプを使って2つの出力を整合させることです。WhisperXライブラリはこの3段階パイプラインを1つのツールにまとめています。

なぜWhisperは無音中に幻覚テキストを生成するのですか?

Whisperの自己回帰デコーダは、特に決定的デコーディング（温度0）の場合、音声がないときでもトークンを生成し続けます。最も確実な修正方法は、音声アクティビティ検出（VAD）による前処理を適用して、モデルに到達する前に無音部分を取り除くことです。単一の固定値ではなく、温度フォールバックスケジュールを使用することも、モデルがループしたときに再サンプリングをトリガーするため役立ちます。

Whisper Large-v3とLarge-v3-Turboの違いは何ですか？

両者は同じエンコーダを共有しています。Turboはデコーダを32層から4層に削減し、その結果をファインチューニングして、総パラメータ数を1.55Bから809Mに減らしています。速度の向上はハードウェアによって2〜5倍です。OpenAIは精度の差を「軽微な品質低下」と説明しています。Turboは翻訳タスクをサポートしていません。そのファインチューニングには翻訳データが含まれていないためです。

出典

• openai/whisperモデルカード（GitHub）
• openai/whisper-large-v3 on Hugging Face
• openai/whisper-large-v3-turbo on Hugging Face
• large-v3リリースに関する議論（GitHub）
• turboモデルリリースに関する議論（GitHub）
• OpenAI Whisper MITライセンス（GitHub）
• 無音時のWhisper幻覚（Whisper GitHub Discussion #1606）
• WhisperX: Whisper + pyannoteダイアライゼーションパイプライン（GitHub）
• SYSTRAN/faster-whisper（GitHub）