AI音声認識の仕組み：ニューラルパイプライン徹底解説(2026)

パイプライン全体像

現代のAI音声認識は、エンコーダ・デコーダ型のニューラルネットワークで、音声のログメルスペクトログラムを読み込み、テキストトークンを出力します。すべてが一回の処理で完結し、途中に独立した音響モデルや発音辞書は存在しません。モデルは音から単語へのマッピングをまとめて学習するため、ここ5年で精度が急激に向上しました。旧来のハイブリッドパイプライン(HMM、MFCC、独立した音響モデルと言語モデル)の話については、「音声認識の仕組み」をご覧ください。プロダクト側の視点(ファイルアップロードから文字起こしのダウンロードまでの間に何が起きるか)については、「AI文字起こしの仕組み」をご覧ください。本稿では、現代のニューラルアーキテクチャそのものを解説します。

音声波形からモデル入力へ

ニューラルネットワークが音声を処理する前に、生の波形はモデルが扱える形式へ変換される必要があります。

標準的な入力形式はログメルスペクトログラムです。 音声は、10ミリ秒ごとにサンプリングされる25ミリ秒のオーバーラップするフレームに分割されます。各フレームは短時間フーリエ変換(STFT)にかけられて周波数スペクトルが生成され、その後メルスケール(人間の聴覚の仕組みに合致する知覚的な周波数スケール)上に配置された三角フィルタのバンクを通過します。フィルタ出力には対数圧縮が適用され、これは耳の音量に対する対数的な感度を近似しています。結果として得られるのは2次元グリッドです。一方の軸に時間、もう一方にメル周波数が並び、強度によって各時点の各周波数帯域にどれだけのエネルギーがあるかが示されます。

Whisper large-v3は128のメル周波数ビンを使用します(初期のWhisperバージョンや他の多くのモデルは80を使用)。この2次元グリッドこそが、エンコーダが読み込む対象です。

エンコーダ:スペクトログラムから意味を抽出する

エンコーダの役割は、スペクトログラムを「何が話されているか」に関する豊かな内部表現へ変換することです。

トランスフォーマーエンコーダは、マルチヘッド自己アテンションを使ってスペクトログラムをオーバーラップするパッチとして処理します。 各アテンションヘッドは、スペクトログラム内のすべての位置を他のすべての位置と比較し、音声コンテキストのどの部分が互いに関連しているかを特定します。前段の畳み込み層(またはConformerアーキテクチャのような畳み込みサブブロック)が局所パターンを捉え、トランスフォーマー層が長距離依存関係を捉えます。これにより、モデルは「曲がり角」についての文における「右」と、「正しい」についての文における「右」が同じ音ではないことを、デコーダがどちらかに確定する前から把握できるのです。

Conformer(GoogleがINTERSPEECH 2020で発表)は、各トランスフォーマーブロックの内部に畳み込みモジュールを追加し、局所処理と大域処理を混ぜ合わせています。音響特徴量には強い局所相関があるため、この方式は特に音声とうまく機能します。

デコーダ:トークンごとにテキストを生成する

デコーダは、モデルが実際にテキストを生成する部分です。

Whisperはクロスアテンション付きの自己回帰seq2seqデコーダを使用します。 デコーダはテキストトークンを一度に1つずつ生成します。各ステップで、すでに出力したトークンに対する自己アテンション(言語の一貫性を保つため)と、エンコーダの出力に対するクロスアテンション(音声の証拠に基づき続けるため)を使用します。クロスアテンションの重みは、各トークンを書き出す際にモデルがスペクトログラムのどの部分を「聞いている」かを決定します。

トークンはサブワード単位(BPE語彙)であり、音素ではありません。モデルは明示的な音素層を一切生成せず、学習された一連のプロセスの中で音声を直接単語片トークンへマッピングします。「現代のASRも依然として音素レベルの音響モデルと独立した統計的言語モデルを使っている」という説明を聞いたことがあれば、それは古典的なハイブリッドパイプラインの話です。CTCベースのモデルがその一部を、seq2seqモデルがほぼ全体を置き換えました。

CTC、Seq2Seq、トランスデューサー:一つの問題に対する三つの戦略

すべてのニューラルASRシステムが同じ出力機構を使うわけではありません。3つの主要アプローチを理解することが、このテーマの核心です。

**CTC(Connectionist Temporal Classification)**は2006年に提案され、現在でも広く使われています(Facebook AIのwav2vec 2.0が代表的な現代の例です)。モデルはすべての音声フレームにおいてトークンの確率分布を出力します。その後、CTCはフレームレベルの系列を、繰り返しトークンのマージとブランク(空白)トークンの除去によって折りたたみ、最終的な文字起こしを生成します。重要な特性は、CTCが出力トークン間の条件付き独立性を仮定していることです。各フレームの予測は、それまでに予測されたトークンにアクセスせずに行われます。このためCTCは高速で学習も容易ですが、言語モデルがループに入っていないという前提により、珍しい単語では語彙的に不整合が生じることがあります。

**Seq2seqアテンション(エンコーダ・デコーダ)**はWhisperが採用している方式です。自己回帰デコーダは完全な言語モデル的な振る舞いを持ち、各トークンはそれ以前のすべてに条件づけられます。これにより、より自然で一貫性のあるテキストが生成されます。特に語彙外やドメイン固有の単語で効果を発揮します。トレードオフは、デコードが逐次的で遅いこと、そして生成前に全音声を処理する必要があることです(バッチ処理向きで、ストリーミングには不向き)。

**RNN-T(Recurrent Neural Network Transducer)**は両者の長所を組み合わせます。音響エンコーダと予測ネットワーク(それまでに予測されたトークンに対する小さな自己回帰言語モデル)が、ジョイントネットワークを通じて融合されます。最大の利点はストリーミング対応です。RNN-Tは発話の終わりを待たずに、音声が届き次第トークンを出力できます。このため、トランスデューサーベースのモデルは本番環境のストリーミングアプリケーション、音声アシスタント、リアルタイム字幕システムで主流となっています。Alex Gravesの研究に端を発し、GoogleのPixelレコーダーのような製品におけるオンデバイスASRの基盤となっています。

ハイブリッドCTC+アテンション学習はますます一般的になっています。CTC損失が学習中に単調なアライメントを促進し、アテンションデコーダの収束を速める一方、最終出力はアテンションデコーダが担当します。

学習データが実際に形作るもの

汎化性能を決めるのは、アーキテクチャそのものよりも学習データの量と多様性です。

オリジナルのWhisper(2022年)は68万時間の弱教師あり多言語音声で学習されました。96言語をカバーし、12万5000時間の翻訳データを含みます。Whisper large-v3(2023年末リリース)は、100万時間の弱ラベル付き音声に加え、Whisper large-v2を使って生成された400万時間の疑似ラベル付き音声、合計約500万時間で学習されており、15億5000万個のパラメータを持ち、99言語をサポートします。

「弱教師あり」とは、学習ラベルが入念にアノテーションされたスタジオ録音ではなく、既存のインターネットソース(字幕、文字起こし)から得られたことを意味します。ここで導入される条件の多様性こそ、より小さくてもクリーンなコーパスで学習された多くの競合モデルよりも、実世界の音声をうまく扱える理由の一部です。

一部のモデルは、文字起こし、翻訳、言語識別、タイムスタンプ予測を同時に学習します。Whisperの場合、タスクの条件付けは出力系列の先頭に付加される特殊なデコーダトークンによって完全に処理されます。同じトランスフォーマーの重みが、4つのタスクすべてを同時に学習するのです。このマルチタスク学習は、シングルタスク学習よりも豊かな音声表現を生み出すようです。

話者ダイアライゼーション:並行して動くシステム

誰が何を話したかを判別するダイアライゼーションは、コアのASRモデルには組み込まれていません。文字起こしとは別のパイプラインとして並行して動きます。

現代のニューラルダイアライゼーションは、話者埋め込みを抽出してからクラスタリングします。 音声はオーバーラップするセグメントに分割されます。ニューラルエンコーダ(一般にTDNNやResNetアーキテクチャ)が各セグメントを、話者の声の特徴(ピッチパターン、フォルマント周波数、声道の形状)を捉える高次元ベクトルに変換します。これらの埋め込みは階層的にクラスタリングされ、類似した埋め込みを持つセグメントに同じ話者ラベルが割り当てられます。

核心的な課題は、話者数が未知であることです。現代のシステムは学習された類似度しきい値を使い、デンドログラムをどこで切断するかを決めます。重複発話(二人が同時に話す状況)は今も活発な研究課題です。ほとんどの本番システムは同時発話をフレームごとに一人の話者を割り当てることで処理するため、重複の中で小さい方の声は通常失われます。

会議の文字起こしやインタビューの文字起こしのようなツールは、コアのASR完了後に後処理ステップとしてダイアライゼーションを適用します。

精度:数字が実際に意味するもの

マーケティング資料で目にする華々しい精度の数字は、ほぼ常にクリーンな読み上げ音声のものであって、実世界の音声のものではありません。

Whisper large-v3はLibriSpeech test-cleanで2.7%のWERを達成しています。これはスタジオ品質の読み上げオーディオブック音声です。Hugging Face Open ASR Leaderboard(2026年半ばのスナップショット)では、Whisper large-v3は多様な実世界テストセット全体で平均WER 7.44%を記録しました。CohereのTranscribe(平均WER 5.42%)やElevenLabs Scribe v2(5.83%)といった上位モデルが最先端を押し広げていますが、これらの数字は新しいモデルがリーダーボードに参入するにつれ変動します。

実際のコンテンツでは、会議、ポッドキャスト、電話通話における実世界のWERは、ノイズレベル、話者数、アクセントの多様性に応じて通常8%〜15%の範囲です。ベンチマークWERと実用WERの差こそ、導入を決める前に必ず自分の音声でASRシステムを試すべき主な理由です。

私見:LibriSpeech上のWERはモデルの上限値を教えてくれるものです。あなたのユースケースにとって意味のある唯一の数字は、実際のコンテンツ上のWERです。

エンドツーエンドモデルが旧来のハイブリッドパイプラインに勝る理由

古典的なパイプラインは、特徴量抽出器、特徴量を音素にマッピングするHMMベースの音響モデル、発音辞書、別途学習されたn-gram言語モデルで構成されていました。各段階は独立に最適化されていたため、ある段階での誤りは他の段階からは見えませんでした。

エンドツーエンドモデルは、音声からテキストへのマッピング全体を共同で最適化します。 単語が音響的に曖昧に聞こえる場合でも、ニューラルデコーダは文脈を即座に利用して解決できます。音響的証拠と言語モデルが同一の重みセットだからです。「これは何という音素か?」と「この音素列はどんな単語をつづるのか?」の間に継ぎ目はありません。難しい音声に対する精度が2019年から2023年の間に急激に向上したのは、このアーキテクチャ上の理由によるものです。

この転換は二つの波でやってきました。DeepSpeech(2014年)のようなCTCベースのモデルが、最初の実用的なエンドツーエンドASRシステムでした。2020年頃以降のトランスフォーマーベースのseq2seqモデルは、CTCの言語モデル統合を弱めていた条件付き独立性の仮定を取り除くことで、さらに前進しました。

ASR出力が存在した後に何が起きるか(句読点復元、ダイアライゼーションのマージ、段落整形、エクスポート)の詳細については、「AI文字起こしの仕組み」をご覧ください。HMMとMFCCに始まるニューラル以前の歴史については、「音声認識の仕組み」が全容を網羅しています。

現代のASRを依然として制約するもの

アーキテクチャの改善にも限界があります。いくつかの制約は物理とデータに起因するものであり、モデル設計の問題ではありません。

重複発話は本当に困難です。二つの声が同じ時間周波数ビンを占有するため、分離にはASRモデルの前段でソース分離モデル(Conv-TasNetなど)を実行する必要があり、レイテンシと複雑さが増します。

低リソース言語は依然として十分にサポートされていません。ラベル付き学習データが数百時間しかない言語では、アーキテクチャがどれほど洗練されていても、高リソース言語より一桁高いWERのモデルしか得られません。これは「AIが低リソース言語に苦手な理由」で述べられている問題です。

背景音楽は背景ノイズとは根本的に異なります。一定のノイズは音声活動検出でフィルタできます。しかし音楽は音声と重なる周波数帯域を占めるため、音楽が存在するとモデルは歌詞や単語を幻覚(ハルシネーション)することがよくあります。これは特にWhisperで知られる失敗モードです。

Deepgram Novaのような独自モデルは、詳細が公開されていないアーキテクチャを使い、異なるトレードオフ(レイテンシ、ストリーミング、ドメイン適応)に最適化されています。Nova-3の違いの内訳については、「Deepgram Nova-3の解説」をご覧ください。

自前のASRインフラを構築せずに、きれいな文字起こしを迅速に必要とする作業には、ConvertAudioToTextがダイアライゼーションやSRT、VTT、プレーンテキストへのエクスポートを含む全パイプラインを処理します。

よくある質問

音声認識におけるCTCとseq2seqの違いは何ですか?

CTCはすべての音声フレームで独立にトークンを予測し、その後系列を折りたたみます。高速でストリーミングに適していますが、デコード中に言語モデルレベルの判断を行いません。seq2seq(Whisperなど)はエンコーダへのクロスアテンションを持つ自己回帰デコーダを使用します。各トークンを、それまでの全トークンと全音声的証拠を合わせたものに基づいて生成します。これにより、特にドメイン固有の語彙でより一貫性のあるテキストが得られますが、出力生成前に全音声を処理する必要があります。

現代のASRモデルが音素を中間ステップとして使わないのはなぜですか?

旧来のハイブリッドシステムが音素を使っていたのは、音響モデルと言語モデルが別々に学習されていたからです。音響モデルには、言語モデルが消費できる固定の出力空間(音素)が必要でした。エンドツーエンドモデルは音声からテキストへのマッピング全体を一回のパスで学習するため、サブワードトークン(BPE単位)を直接出力します。モデルは有用な中間表現を暗黙的に学習しますが、それは必ずしも音素ではありません。

マルチタスク学習はどのように音声認識を改善しますか?

文字起こし、翻訳、言語識別、タイムスタンプ予測を同時に学習させることで、モデルはタスク間で汎化する音声表現を構築せざるを得なくなります。例えばWhisperは、デコーダの先頭に付加される特殊なプレフィックストークンを通じて4つのタスクすべてを条件付けます。同じエンコーダの重みが、すべてを支えるのに十分な音響的詳細を捉えなければなりません。その結果、同じデータで学習された文字起こし専用モデルよりも、アクセントと言語に対する頑健性の高いモデルが得られます。

2026年の実世界音声におけるAI音声認識の精度はどの程度ですか?

読み上げ音声(LibriSpeech test-clean)では、最先端モデルは約2〜3%のWERを達成しています。会議、ポッドキャスト、電話通話を含む実世界の音声では、ノイズ、話者の重複、アクセントの多様性に応じて、WERは通常8〜15%の範囲です。2026年半ばのリーダーボード首位のCohereのTranscribeは、混合テストセット全体で平均5.42%のWERを報告していますが、これらの数字はリーダーボードの構成を反映しており、新しいモデルが評価されるにつれ変動します。

Conformerアーキテクチャは標準的なトランスフォーマーとASRにおいて何が違うのですか?

標準的なトランスフォーマーは、すべての位置にわたる自己アテンションで大域的なコンテキストを捉えます。GoogleがINTERSPEECH 2020で発表したConformerは、各トランスフォーマーブロックの内部にある2つのフィードフォワードモジュールの間に、畳み込みモジュールを追加します。これにより各ブロックは、局所的な音響パターン(畳み込み経由)と長距離依存関係(アテンション経由)を同時に捉えられます。音声は強い局所構造を持つ(音響特徴量は隣接フレームと高度に相関する)ため、この組み合わせはほとんどのベンチマークで、純粋なトランスフォーマーをASRにおいて上回ります。

参考資料

• OpenAI Whisper GitHub(モデルカード、アーキテクチャ、学習データ): https://github.com/openai/whisper
• Hugging Face:openai/whisper-large-v3 モデルカード: https://huggingface.co/openai/whisper-large-v3
• Google Research:Conformer(INTERSPEECH 2020): https://research.google/pubs/conformer-convolution-augmented-transformer-for-speech-recognition/
• Hugging Face Audio Course、Seq2Seqアーキテクチャ: https://huggingface.co/learn/audio-course/chapter3/seq2seq
• Hugging Face Transformers:wav2vec2ドキュメント: https://huggingface.co/docs/transformers/en/model_doc/wav2vec2
• pyannote.ai:話者ダイアライゼーションとは: https://www.pyannote.ai/blog/what-is-speaker-diarization
• Hugging Face Open ASR Leaderboard(2026年半ばのスナップショット): https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
• AssemblyAI:Word error rate is broken(2026): https://www.assemblyai.com/blog/word-error-rate-is-broken