ニューラルネットワークと文字起こし:モデルはどうやって聴くことを学ぶのか

現代の文字起こし精度は、ニューラルネットワークの上に築かれています。2015年から今日までの向上は、そのほぼすべてがより優れたアーキテクチャと大規模な学習データによるものであり、その上に積み重ねられた巧妙な手作りルールによるものではありません。この記事では、ニューラルネットワークの中核概念を、文字起こしモデルの内部で実際に起きていることへ対応付けて解説します。

ニューラルネットワークとは何か――最低限役立つレベルで

ニューラルネットワークとは、多数の調整可能なパラメータを持つ数学関数の積み重ねです。入力と出力のペアを数百万件見せて学習させ、ネットワークが誤った出力を生成するたびにパラメータを調整します。十分に学習を重ねると、ネットワークは汎化します。つまり、一度も見たことのない入力に対しても正しい出力を生成できるようになるのです。

音声認識の場合、入力は音声の表現であり、出力はテキストトークンです。それがフレームワークの全体像です。興味深い問いは、入力の形状はどうなっているのか、各層は実際に何を学習しているのか、そしてなぜ学習データが精度の上限を決めるのか、ということに集まります。

ネットワークが入力として見るもの

現代の音声認識ネットワークは、生の音声サンプルを直接扱いません。扱うのはスペクトログラム、つまり時間の経過に伴って周波数エネルギーがどう分布しているかを示す2次元画像です。

Whisper Large-v3は128の周波数チャネルを持つ対数メルスペクトログラムを入力とし、10ミリ秒ごとに1フレームを処理します。これは以前のWhisperバージョンで使われていた80チャネルからの意図的な増加です。このアップグレードにより、モデルはより細かい周波数分解能を得られ、特に声調言語や近接した母音の識別に役立ちます。

音声認識の仕組みに関する記事では、スペクトログラムへの変換についてさらに詳しく扱っています。この記事での要点は、ネットワークが見ているのは音声そのものではなく、いわば音声の写真のようなものだということです。

層ごとに見る:モデルが学習するもの

深層ニューラルネットワークは、最初の層から最後の層へ進むにつれて徐々に抽象度が高まる内部表現を獲得します。音声認識の場合、そのパターンはおおむね3段階の階層に従います。

初期の層:音響特徴量

最初のいくつかの層は、低レベルの音響パターンを検出します。有声子音は無声子音とは異なるスペクトル特性を持ち、母音は摩擦音とは異なります。これらの区別は、音声学者が描く区分におおよそ対応していますが、モデルにそうした違いを探せと明示的に指示したことはありません。

Whisperの内部表現を人間の神経データと対応付けた研究によると、初期の層は音の立ち上がり(onset)に関連する音響処理と最も強く相関しており、これは初期聴覚野について分かっていることと整合的です。

中間の層:音韻・音節パターン

中間の層は、低レベルの特徴量をより高次の単位へと組み合わせます。音素、音節、短い単語断片などです。この段階までに、ネットワークは生の音響信号を、ピッチや声道の大きさといった話者固有の詳細を捨てながら言語的内容を捉える表現へと圧縮しています。

ここはまた、録音品質、アクセントの違い、背景ノイズ(限度内であれば)など、文字起こしに影響すべきでない要素に対して不変になるようモデルが学習する場所でもあります。モデルがこれらを明示的に学習しているわけではありません。学習シグナルは単純に「正しいテキストを生成せよ」というものなので、モデルはその達成に役立つ不変性を自ら発見するのです。音響モデルと言語モデルに関する記事では、こうした役割が別々のシステム間で歴史的に分担されてきた経緯を扱っています。

後段の層:言語コンテキスト

エンコーダの後段の層とデコーダの層こそ、言語モデリングが行われる場所です。モデルは、特定の単語列が他よりも起こりやすいこと、文法的な構文は一般的で非文法的なものはそうではないこと、特定の単語は特定の文脈に出現しやすいことを学習します。

これこそが、音響的に曖昧なフレーズを解決できる理由です。「recognize speech」というフレーズは、速く発音すると「wreck a nice beach」とほぼ同じに聞こえます。言語モデリングの能力が、周囲の文脈に基づいて正しい解釈を選び出します。この例は、1960年代に技術者のマンフレート・シュレーダーが、自身のボコーダがテストフレーズを繰り返しそのように変換することを発見して以来、業界で語り草となっているジョークです。

トランスフォーマーアーキテクチャ

**今日、競争力のある音声認識モデルはほぼすべてトランスフォーマーを使用しています。**このアーキテクチャは、2017年に機械翻訳向けの論文「Attention Is All You Need」(Vaswaniら)で導入されました。結果として、音声を含むほぼすべての系列モデリングタスクにうまく一般化することが判明しました。

中核となる仕組みはセルフアテンションです。入力系列の各位置は他のすべての位置に注意を向けることができ、各位置が互いにどれほど「関心を持つ」かは学習された重みによって決まります。音声の場合、12秒目の単語が、情報を中間ステップすべてに伝播させることなく、4秒目のコンテキストを直接利用できるということです。

旧来のリカレントネットワーク(RNNやLSTM)は系列を1ステップずつ処理するため、長い間隔をまたいだ情報保持が苦手でした。トランスフォーマーは長距離依存関係をより自然に扱えます。文字起こし内のある単語の正しい解釈が、数秒前のコンテキストに依存することはよくあるため、これは重要です。

エンコーダ・デコーダ構造

音声認識における標準的なトランスフォーマーの構成はエンコーダ・デコーダ方式です。エンコーダはスペクトログラム全体を読み込み、タイムフレームごとに1つの高次元ベクトルからなる系列を生成します。続いてデコーダが、各ステップでエンコーダの出力に注意を向けながら、テキストトークンを1つずつ生成していきます。

Whisper Large-v3はこの構造を採用しています。競争力のあるオープンソース音声認識モデルの大多数も同様です。Whisper Large-v3徹底解説の記事では、具体的なアーキテクチャをさらに詳しく扱っています。

学習は実際どう行われるのか

まずランダムなパラメータから始めます。モデルは当然ナンセンスな出力を返します。そこで、モデルの出力と正しい文字起こしとの誤差を計算し、その誤差をネットワークの逆方向へ伝播させ(バックプロパゲーション)、誤差を減らす方向へ各パラメータを少しずつ調整します。このプロセスを、数百万件の学習例にわたって数十億回繰り返します。

その仕組みには、バッチ(効率化のため一度に多数の例を処理すること)、学習率スケジュール(時間の経過とともにどれほど積極的にパラメータを更新するか)、過学習を防ぐための正則化手法が関わります。Whisper Large-v3サイズのモデルなら、学習は数百基のGPU上で数日から数週間かけて実行されます。

なぜ学習データが精度の上限を決めるのか

**モデルが学習できるのは、学習データに存在するパターンだけです。**学習データがスタジオ録音の英語ばかりなら、電話音声や非ネイティブ話者に対してモデルの性能は落ちます。学習セットに医療用語がなければ、薬剤名を誤記します。

Whisper Large-v3は合計約500万時間の音声で学習されています。内訳は、弱ラベル付き音声が約100万時間、さらにラベルなしコンテンツにWhisper Large-v2を実行して生成された疑似ラベル付き音声が400万時間です。これは、初代Whisperリリースの学習に使われた68万時間を大幅に上回ります。

2025年初頭にリリースされたDeepgram Nova-3は、100以上のドメインと数百億トークンに及ぶ独自データセットで学習されています。学習データの規模とドメインの多様性は、潤沢なリソースを持つ研究機関のモデルが、実環境において小規模な代替モデルを上回る主な理由の一つです。

汎用モデルが自分のドメインで性能を発揮できない場合の実用的な解決策がファインチューニングです。事前学習済みモデルを用意し、少量のドメイン固有データ——数時間の医療録音、法廷証言の記録、技術系ポッドキャストなど——で学習を続けます。モデルはすでに言語と音響構造を知っているため、自分の語彙に関係するパラメータを調整するだけで済みます。ドメインのミスマッチがエラー率にどう現れるかについては、文字起こし精度の解説の記事を参照してください。

推論時には何が起きるのか

一度学習されてしまえば、モデルの利用はシンプルです。音声を渡せば、モデルがテキストを返します。

推論の流れは次のとおりです。

1. 音声が対数メルスペクトログラムに変換されます。
2. エンコーダがスペクトログラムを処理し、隠れベクトルの系列を生成します。
3. デコーダがテキストトークンを1つずつ生成します。新しい各トークンは、エンコーダ出力とそれまでに生成されたすべてのトークンを条件として決まります。
4. デコーダが系列終端トークンを生成すると、生成は停止します。

30秒のクリップなら、最新のハードウェアでは1秒未満で処理できます。それより長い音声は30秒のチャンクに分割して処理し、後からつなぎ合わせます。

なぜエンドツーエンド方式がハイブリッド方式に勝ったのか

2017年頃まで、音声認識システムはハイブリッド型でした。ニューラルネットワークが音素確率を推定し、発音辞書が音素を単語へ対応付け、別個の言語モデルが単語列を採点し、ビームサーチアルゴリズムがそれらすべてを組み合わせていたのです。

エンドツーエンド方式は、これらすべてを音声とテキストのペアで直接学習される単一のネットワークへと統合しました。学習の目的は単純に「音声から正しいテキストを生成すること」であり、モデルはその目標に資するあらゆる内部構造を学び取ります。

この方式がうまく機能する具体的な理由は3つあります。

モデルは、ハイブリッド方式の設計者が想定していなかった情報を利用できます。イントネーション、強勢、リズムといった韻律的特徴は、単独では同一に聞こえる単語の曖昧性を解消できます。ハイブリッドシステムが韻律を活用することはまれでしたが、エンドツーエンドモデルは学習の過程で副次的にそれを習得します。

共同最適化は、個別コンポーネントの調整よりも効率的です。ハイブリッドシステムは最も弱いモジュールの制約を受けます。一方、エンドツーエンドモデルは、ある部分の弱点を別の部分の強みで補うことを学習できます。

言語間の転移が自然に起こります。単一のWhisperモデルが99言語を扱えるのは、共有された内部表現がすべての言語で役立つからです。ハイブリッドシステムでは、言語ごとにほぼ独立したコンポーネントが必要でした。

アーキテクチャの選択について詳しくは、AI音声認識の仕組みの記事をご覧ください。エンコーダ・デコーダ系とCTC系を技術的に掘り下げています。

ニューラルネットワークが今も失敗する場面

ニューラルネットワークは魔法ではありません。学習プロセスに直接由来する、体系的な失敗モードを抱えています。

**ロングテールの語彙。**学習データにほとんど登場しなかった単語は、一貫して誤記されがちです。ブランド名、専門用語、珍しい固有名詞などです。希少なトークンは学習中の正しい文字起こしにめったに現れないため、モデルは低い確率を割り当てます。文字起こしが間違える理由の記事で詳しく扱っています。

**分布のシフト。**特殊な録音環境、強いアクセント、未知のドメイン語彙など、学習分布から大きく外れた音声は、劣った出力を生みます。これはバグではなく、学習の仕組みから直接生じる結果です。

**ハルシネーション(幻覚)。**デコーダは、音声内の何とも対応しない、もっともらしく聞こえるテキストを生成することがあります。特に無音や背景ノイズの間に顕著です。モデルの学習データにはほぼ常に発話が含まれていたため、テキストを生成する方向に強い事前分布を持っています。非発話セグメントを文字起こしモデルに届く前にフィルタリングする音声区間検出(VAD)が、標準的な対策です。VADの仕組みの記事でこの手法を解説しています。

**話者の混同。**標準的な文字起こしモデルが出力するのは、区別のない一続きのテキストです。話者を分離するには、ダイアライゼーションと呼ばれる追加ステップが必要です。話者ダイアライゼーションの解説の記事で、基本の文字起こしとは別にその仕組みを扱っています。

私見ですが、上記の失敗モードはいずれも既知の対策があり、優れた本番システムはそのいくつかを組み合わせて適用しています。ただし、それぞれの失敗モードの根本原因を理解してこそ、どの対策に手を伸ばすべきか、そしていつそれが役に立たないのかが分かるのです。

プロダクトパイプラインについてひとこと

この記事はニューラルネットワークそのものに焦点を当てています。アップロードから整形済み文字起こしまで、VAD、ダイアライゼーション、句読点復元、出力フォーマットを含むプロダクトパイプライン全体の仕組みを知りたい方は、AI文字起こしの仕組みの記事をご覧ください。両記事は併せて読むことを想定しています。

本番運用されているニューラル文字起こしシステムの出力を自分の音声で試してみたい方は、ConvertAudioToTextがアップロードされたファイルに対してWhisper Large-v3を実行します。短いクリップなら登録不要です。

出典

• OpenAI Whisper Large-v3 モデルカード: https://huggingface.co/openai/whisper-large-v3
• Vaswaniら、「Attention Is All You Need」(2017): https://arxiv.org/abs/1706.03762
• Deepgram Nova-3 発表: https://deepgram.com/learn/introducing-nova-3-speech-to-text-api
• WhisperX: 長尺音声の時間精度の高い音声文字起こし: https://arxiv.org/pdf/2303.00747
• Calm-Whisper: 非発話区間におけるWhisperハルシネーションの低減: https://arxiv.org/html/2505.12969v1
• Language Logの「Wreck a Nice Beach」に関する記事: https://languagelog.ldc.upenn.edu/nll/?p=13828

FAQ

ニューラルネットワークは音声から実際に何を入力として受け取るのか?

生の波形サンプルではなく、スペクトログラムを受け取ります。最新のモデルのほとんどでは、それは対数メルスペクトログラム、すなわち時間の経過に伴う周波数エネルギーの分布を表す2次元表現を意味します。Whisper Large-v3はタイムフレームごとに128のメル周波数チャネルを使用しており、以前のWhisperバージョンの80チャネルからのアップグレードです。

なぜエンドツーエンドのニューラルネットワークはハイブリッド型ASRシステムに取って代わったのか?

旧来のハイブリッドシステムは、音素確率を推定するニューラルネットワーク、発音辞書、言語モデル、ビームサーチデコーダという独立したコンポーネントで構成され、それぞれを個別に調整する必要がありました。エンドツーエンドモデルは、これらすべてを音声とテキストのペアで直接学習される単一のネットワークへと統合しました。この共同学習により、個別のコンポーネントでは学べない補完戦略をモデルが習得でき、内部表現を全言語で共有できるため、単一のWhisperモデルが99言語に対応できます。

文字起こしモデルが実際には発話されていないテキストを生成することがあるのはなぜか?

これはハルシネーション(幻覚)です。デコーダは、音声が無音、背景ノイズ、聞き取れない音のみを含む場合でも、もっともらしいテキストを生成してしまいます。モデルはほぼ常に発話を含む音声から学習しているため、テキストを生成する方向に強い事前分布を持っています。音声区間検出(VAD)は、非発話セグメントを文字起こしモデルに渡す前にフィルタリングすることで、この問題を緩和します。

ファインチューニングとは何か、いつ有効なのか?

ファインチューニングとは、汎用目的で学習済みのモデルに対して、医療録音や法廷証言の記録といった特定ドメインの小さなデータセットで追加学習を行うことです。モデルはすでに言語と音響構造を把握しているため、正しい語ため、正しい語彙や言い回しへと傾けるために必要なのは、数時間程度のドメイン固有音声だけです。ファインチューニングは、元の学習データにほとんど登場しなかった専門用語において最も効果を発揮します。