音声認識における音響モデルと言語モデル

音響モデルは「この音声にどんな音が含まれているか」に答え、言語モデルは「どの単語の並びが意味を成すか」に答えた。 30年にわたり、この分担はあらゆる音声認識システムの基本原則だった。現代のエンドツーエンドのニューラルモデルは両方の役割を単一のネットワークに吸収したため、その境界は実運用ではほぼ見えなくなっている。かつてその境界がどこにあったかを知ることで、実際の文字起こしに見られるエラーのパターンが今も説明できる。

古典的な役割分担

2017年以前の音声認識は、問題をきれいに分解していた。各コンポーネントには明確な役割があり、各パーツは独立に調整されていた。

音響モデル

音響モデルは、通常10〜30ミリ秒の短い音声の断片を取り込み、音素に対する確率分布を出力した。初期の音響モデルは、隠れマルコフモデルにガウス混合モデルを重ねたもの（GMM-HMM）を使っていた。GMMが音響から音素へのマッピングを担当し、HMMが時間的な順序付けを担当して、音素が時間の経過とともに単語へと連鎖する様子をモデル化した。

後のシステムではGMMを深層ニューラルネットワークに置き換え、DNN-HMMハイブリッドが生まれた。アーキテクチャは部分的に統計的だったが、精度は大幅に向上した。音響モデルの役割は純粋に音響音声学的なもので、語彙や文法の概念は持っていなかった。

言語モデル

言語モデルは、これまでに生成された単語の並びを受け取り、次の単語がどれだけあり得るかをスコアリングした。初期の言語モデルはn-gramだった。大規模なテキストコーパスで訓練され、単語の出現回数の並びから確率を推定する統計モデルだ。トライグラムモデルは直前の2語を使い、5-gramは直前の4語を使った。

後の言語モデルはニューラルネットワークを使うようになり、最初はフィードフォワード、次にリカレント（2010年代初頭のRNN言語モデル）、そして2018年頃からはトランスフォーマーへと移行した。言語モデルの役割は純粋に言語学的で、音の概念はなく、テキストに現れる単語の並びだけを扱っていた。

発音辞書

3つ目のコンポーネントが、この2つをつなぐ役割を果たしていた。発音辞書、別名レキシコンとも呼ばれるもので、各単語を音素列にマッピングしていた。「Transcription」は、/t r ae n s k r ih p sh ah n/ のような形に対応する。音響モデルは音素を出力し、言語モデルは単語を扱っていたため、この辞書が必要だった。

こうした辞書を手作業で構築するのはコストがかかり、エラーも起こりやすかった。特に、綴りが不規則な言語ではなおさらだ。

各部分の連携

古典的なシステムのデコーダーは、これら3つのコンポーネントをすべて組み合わせていた。音声が与えられると、次の式を最大化する単語列を見つけ出した。

P(words | audio) ∝ P(audio | words) × P(words)

最初の項は、発音辞書を通じて音響モデルから得られた。2番目の項は言語モデルから来た。ビームサーチアルゴリズムが候補となる単語列を探索し、最も確率の高いものを保持した。

このベイズ的な枠組みはエレガントで、十分なトレーニングデータと慎重なチューニングがあれば、当時としては妥当な精度を生み出した。

歴史的にこの分割が理にかなっていた理由

古典的な分解が自然だったのには、いくつかの要因がある。

音声と書き起こしのペアのトレーニングデータは、入手が難しく収集コストも高かった。 テキストだけは豊富にあった。新聞、書籍、ウェブ。言語モデルは数十億語でトレーニングできた一方、音響モデルは数十時間から数百時間の音声ペアでトレーニングされた。各コンポーネントは、現実的にアクセスできるデータを手に入れていた。

コンポーネントは解釈可能だった。音響モデルの音素予測と言語モデルの単語確率を、別々に調べることができた。障害のデバッグは、どのコンポーネントに問題があるかを切り分けるという、扱いやすい作業だった。

チームごとに専門性が異なっていた。音響の専門家は音響モデルを調整し、計算言語学者は言語モデルを調整した。この分解は、研究ラボ内の分業と一致していた。

計算リソースは限られていた。当時のハードウェアで動いていたのは、小さな音響モデルと小さな言語モデル、そして手作業で構築した辞書を組み合わせたものだ。数十万時間の音声で訓練した単一のエンドツーエンドモデルを動かすのは、現実的ではなかった。

エンドツーエンドモデルが主流になった理由

2017年頃から、エンドツーエンドのニューラルモデルがベンチマーク精度でハイブリッド方式を上回り始めた。 2020年までにはその差は十分に広がり、新規の本番システムのほとんどがエンドツーエンドになった。2026年現在、ハイブリッド方式は本番環境ではほぼ過去のものとなっている。

この移行を後押しした理由はいくつかある。

単一目的の訓練。エンドツーエンドモデルは、音声から正しい書き起こしを直接生成するように訓練される。中間ステップとして音素を使う制約がないため、その目標に役立つ内部表現を自由に学習できる。

双方向の情報フロー。ハイブリッド方式では、音響コンポーネントと言語コンポーネントが双方向で情報を共有するのが難しかった。エンドツーエンドモデルは、イントネーションやストレスといった音響信号を使って単語の曖昧さを解消し、言語的文脈を使って曖昧な音のデコード精度を高める。これらすべてを同じフォワードパス内で行える。

より大きなモデル、より多くのデータ。現代の訓練インフラは、数十万時間の音声で訓練した数十億パラメータのモデルを扱える。従来のコンポーネントはこの規模でのスケーリングを想定して設計されていなかった。

より良い汎化。多様なデータで訓練したエンドツーエンドモデルは、未知のアクセントや録音環境、ドメインに対してよりうまく汎化する傾向がある。ハイブリッド方式は訓練分布の外では脆いことが多かった。

現代のエンドツーエンドシステムが内部でどう動くかのアーキテクチャ詳細については、関連記事のAI音声認識の仕組みで、エンコーダー・デコーダー構造、CTC、アテンションメカニズムを詳しく解説している。

現代のモデル内部に残る区別の痕跡

その境界線はネットワークの内部に移動した。

Whisperのエンコーダー層に関する調査研究は、非単調な組織構造を示しています。**中間のエンコーダー層が、最も多くの音声学的および音響的情報を保持しています。**後方の層はテキスト符号化と言語的曖昧性解消へと移行します。このパターンは、初期が音響的、後期が言語的という単純な二分法ではありません。中間層には符号化のボトルネックが存在し、音響表現がピークに達した後、ネットワークが記号的テキストへと遷移します。

実務的には、これは次のことを意味します:

• 中間のエンコーダー層は、音素レベルの対比、韻律パターン、話者やノイズによる音響的変動に最も強く反応します。
• 後方のエンコーダー層とデコーダーは、言語的作業の大部分を担います。単語の同一性、文脈、ドメイン固有のパターンです。

同じモデルが両方の役割を処理しますが、それらはネットワークの異なる深さで発生します。これは確立されたアーキテクチャというよりは、活発な研究領域ですが、プロービング研究がWhisperのような教師ありエンコーダーモデルを説明する方法と一貫しています。ニューラルネットワークと文字起こしに関する投稿では、これがアーキテクチャレベルでモデルの挙動に何を意味するかを扱っています。

それでも分割が、あなたが見るエラーを説明する理由

**ここで、音響対言語の区別が実際の実用的価値を持ちます。**共同トレーニングされたエンドツーエンドモデルであっても、エラーは認識可能な2つのカテゴリに集中する傾向があります。

音響側の失敗は、モデルが音を聞き間違えたときに発生します:

• 同音異義語の誤変換。「their」が「there」に、「to」が「too」になる
• 背景ノイズやクロストーク内の単語が、音声的に類似した代替語として誤読される
• モデルがトレーニングされていない強いアクセントが、一貫した置換エラーを生む
• 話者の重なり（ダイアリゼーションの失敗が音響的混乱を悪化させることが多い）

言語側の失敗は、音響信号が明瞭であるにもかかわらず、文脈が馴染みがないためにモデルが誤った単語を選ぶときに発生します:

• まれな固有名詞: 話者が「Anthropic」と言ったのに、モデルが「Antarctic」と書き出す
• 専門領域の用語: 医療、法律、金融の用語で、通常とは異なる音素パターンを持つもの
• 非標準的な綴りの製品名やブランド名
• モデルが個別に処理する言語間のコードスイッチング

どのタイプのエラーかを把握すれば、修正の手がかりが得られます。音響的な失敗には、ノイズに強いモデル、よりクリーンな録音環境、あるいは同じような話者層で学習されたモデルが必要です。言語的な失敗には、語彙バイアスが有効です。Deepgramはこれをキータームプロンプティングと呼びます。Whisperは、デコーダを好みの語彙や綴りに誘導する初期プロンプトを通じてこれをサポートしています。

クリーンな録音で同じ固有名詞を一貫して誤綴りするなら、それは言語側の問題で、モデルを切り替えずに語彙バイアスで修正できます。二人が同時に話すと文字起こしが劣化するなら、それは音響側の問題で、プロンプトをどれだけ工夫しても完全には解決できません。

ハイブリッドアプローチが残る専門的なケース

いくつかの本番環境では、音響コンポーネントと言語コンポーネントを部分的に分離したままにしておく利点が今も残っています。

音声とテキストの学習ペアが乏しい低リソース言語では、テキストのみで学習された外部言語モデルを取り込むハイブリッドアプローチが役立ちます。多言語事前学習を備えたニューラルモデルは大規模に同様の効果を実現しますが、専用の低リソースパイプラインでは今でも古典的な手法が使われることがあります。

解釈可能性が求められる法医学や高リスクの文字起こしでは、音素レベルの中間出力を検査できるシステムが有益です。エンドツーエンドモデルは、法的手続きで文字起こしが異議を唱えられたときに監査が難しくなります。

制約のあるハードウェアでのリアルタイムエッジ推論では、計算予算がフルエンドツーエンドモデルを支えきれないため、より小さなハイブリッドモデルが使われることがあります。ただし、効率的な推論技術の向上により、この差は縮まりつつあります。

ほとんどの本番ユースケースでは、Whisper Large-v3（99言語対応）やDeepgram Nova-3（60以上の言語に対応し拡大中）のようなエンドツーエンドモデルが適切な選択肢です。Whisper Large-v3の解説とDeepgram Nova-3の解説では、両者の実用的なトレードオフを詳しく扱っています。

ツール選びにおける意味合い

音響と言語の分割は、文字起こしツールのUIで選択する機能に直接対応するわけではありません。最新のサービスは両方をモデル内部で処理します。実際にツール選びに影響するのは次の点です。

語彙バイアス。 モデルに特定の用語を期待するよう指示できますか？Deepgramはリクエストごとにキータームプロンプトを公開しています。Whisperは初期プロンプトを受け付けます。これを公開しているツールは、ドメイン固有の作業で価値が高まります。

カスタムトレーニング。 音響と言語のパターンが一般的な音声と異なるドメイン（医療の口述、法廷の証言録取、金融の決算電話会議）では、自社データでファインチューニングするオプションが残りのギャップを埋められます。これは通常、エンタープライズ向け機能です。

言語カバレッジ。 Whisper Large-v3は99言語をカバーします。Deepgram Nova-3は60以上の言語をカバーし、拡大を続けています。多言語ワークロードでは、モデルが対象言語を学習済みである必要があります。

レイテンシプロファイル。 ストリーミング用にトレーニングされたモデルは、バッチモデルとは動作が異なります。基盤となるアーキテクチャは同じファミリーであることが多く、デプロイ設定が異なるだけです。

私の見解では、古典的なフレームワークを知っておく価値は、音響モデルを直接設定するからではなく、それが生み出したエラー分類が、文字起こしで何が問題だったかを診断するのに今でも最も有用な思考モデルだからです。「AIがなぜこれが苦手なのか」と問うよりも、「音響側か言語側か」と問う方が良い第一歩です。

ConvertAudioToText 音声認識ツールのインターフェース

ミーティングボットやシート単位のサブスクリプションなしで、クリーンな文字起こしだけが必要なら、ConvertAudioToText の音声認識ツールはアップロード時に文字起こしを行い、短いファイルならアカウント不要で利用できます。

よくある質問

音声認識における音響モデルとは何ですか？

音響モデルは、短い音声フレーム（通常、各10〜30ミリ秒）を音素上の確率分布にマッピングします。古典的なシステムでは、これは隠れマルコフモデル（GMM-HMM）に重ねたガウス混合モデルでした。後のシステムでは、GMM を深層ニューラルネットワーク（DNN-HMM）に置き換え、時間的な順序付けには HMM を残しました。音響モデルは音を扱い、単語や文法については何も知りませんでした。

音声認識における言語モデルとは何ですか？

言語モデルは、与えられた単語列がその言語でどれだけあり得るかをスコアリングします。古典的な言語モデルは n-gram で、大規模なテキストコーパス上の単語カウント統計から次単語の確率を推定していました。その後、ニューラル言語モデルが登場し、最初はフィードフォワード、次にリカレント、そしてトランスフォーマーベースへと進化しました。言語モデルは音響については何も知らず、純粋にテキスト列のみを扱いました。

現代の文字起こしツールは、今でも別々の音響モデルと言語モデルを使っていますか？

現代のほとんどの本番ツールは、単一のネットワーク内で両方のタスクを処理するエンドツーエンドのニューラルモデルを使用しています。Whisper や Deepgram Nova-3 のようなシステムは、別個の発音辞書や独立した言語モデルなしで、音声からテキストへの直接マッピングを学習します。内部のエンコーダ層は依然として音響的な作業を行い、デコーダは言語的な作業を行いますが、これらのコンポーネントは共同で訓練されており、独立して交換することはできません。

では、なぜ音響モデルと言語モデルの区別が今日でも重要なのでしょうか？

これは、文字起こしエラーの2つの異なるカテゴリを説明するのに役立ちます。音響的な失敗は、モデルが音を聞き間違えたときに発生します。同音異義語（their/there）、背景ノイズの中の言葉、またはモデルがトレーニングされていない強いアクセントなどです。言語的な失敗は、音響信号が明確であるにもかかわらず、モデルが文脈に馴染みがないために誤った単語を選ぶ場合に発生します。まれな固有名詞、製品名、専門用語、または珍しいコードスイッチングなどです。どの種類のエラーがあるかを知ることで、語彙バイアシング（言語側の修正）に手を伸ばすべきか、ノイズに強いモデル（音響側の修正）に手を伸ばすべきかがわかります。

出典

• Deepgramモデルと言語の概要: https://developers.deepgram.com/docs/models-languages-overview
• Deepgram Nova-3発表とキータームプロンプティング: https://deepgram.com/learn/introducing-nova-3-speech-to-text-api
• OpenAI Whisper Large-v3モデルカード（Hugging Face）: https://huggingface.co/openai/whisper-large-v3
• 構音障害者向け音声におけるWhisperのプロービング（レイヤー分析）: https://arxiv.org/abs/2510.04219
• エンドツーエンド音声認識の調査（IEEE/ACM TASLP 2023）: https://dl.acm.org/doi/10.1109/TASLP.2023.3328283
• 音声特徴に対するWhisperのレイヤーワイズプロービング: https://arxiv.org/pdf/2606.23948
• Deepgramチェンジログ（多言語キータームプロンプティング、2025年11月）: https://developers.deepgram.com/changelog/2025/11/26