音声認識の仕組み、1952年から現在までの歴史

音声認識は、音波を周波数成分の数値表現に変換し、訓練済みモデルを使って話された単語を予測する仕組みだ。この一文の答えは今日でも正確だが、70年にわたる迷走と、この分野が可能だと思っていたことを変えたいくつかのブレークスルーを省いている。

この投稿では、1952年に最初の機械が話された数字を認識できた時代から、現在クリーンな音声で人間の精度に匹敵するトランスフォーマーモデルに至るまでの全軌跡をたどる。今日のニューラルパイプラインの工学的内部は、姉妹投稿のAI音声認識の仕組みで詳しく解説し、製品側のパイプライン（アップロード、VAD、話者分離、フォーマット処理）はAI文字起こしの仕組みで扱っている。この投稿は、その両方が基盤とする歴史的な土台だ。

1950年代：オードリーと極めて限られた始まり

1952年にベル研究所が開発したオードリーは、音声認識システムとして広く認められた最初のものだ。 6フィートのリレーラックを占め、話された数字の0から9までを認識できた。控えめに聞こえるかもしれないが、オードリーは各数字のフォルマント（共鳴周波数のピーク）を分析し、保存されたテンプレートと照合することで機能した。

オードリーは、話者が男性で、各数字の間に少なくとも350ミリ秒の間隔を空け、かつ機械がその話者の声にキャリブレーションされている場合に限り、最大97パーセントの精度に達した。数字認識は答えが10通りしかない閉集合問題だからこそ機能したのだ。大きな語彙と連続的な流れを持つ自然な音声は、別の問題だった。

10年後、IBMは1962年のシアトル万国博覧会でShoeboxを発表しました。これは16語を認識できました。10桁の数字に加えて、「plus」や「total」といった6つの算術コマンドです。この機械は音声による算数の問題を受け付け、計算を加算機に引き渡すことができました。それでもテンプレートマッチングのままで、痛々しいほど限定的でした。

1970年代: DARPA、ビームサーチ、そして1,000語の壁

1970年代には政府の資金が投入され、より高い目標が設定されました。DARPAの音声理解研究（SUR）プログラムは、1971年から1976年まで実施され、少数の研究グループに具体的な目標を追求するための資金を提供しました。それは、少なくとも1,000語の語彙で連続音声を理解できるシステムの開発です。

カーネギーメロン大学のHarpyシステムは、1976年に完成し、この目標を達成しました。Harpyは1,011語を認識し、ビームサーチを導入しました。これは、音声を処理する際に候補となる単語列の空間を枝刈りするデコード戦略で、すべての可能性を網羅的に評価するのではありません。ビームサーチは現代のデコーダーでも使われています。

同じ時期のCMUの別のシステムであるHearsayは、異なるアプローチを取りました。音響から音素、単語、構文へと仮説を積み上げる、階層化された「知識ソース」です。アーキテクチャ的には興味深いものでしたが、壊れやすく、ベンチマークではHarpyに敗れました。この分野が繰り返し学ぶことになった教訓は、エレガントな構造よりも、エラーを確実に減らすものを見つけることの方が重要だということです。

1980年代: 隠れマルコフモデルがすべてを変える

現代の音声認識の真の統計的基盤は、隠れマルコフモデル（HMM）から来ています。レニー・バウムは1970年代初頭にプリンストン大学で基礎となる数学を開発しました。ジェームズとジャネット・ベイカーは、1974年の博士課程の研究でHMMを音声に応用し、後に商業製品となるDragonシステムを構築しました。

HMMは、テンプレートマッチングから確率モデリングへの概念的な転換だった。 各単語に対して固定のフィンガープリントを保存し、そこからの距離を測るのではなく、HMMは音声を隠れた状態（生成中の音素）と観測可能な出力（信号から測定した音響特徴）の連続としてモデル化する。観測された特徴を踏まえて、問うのは「どの隠れ状態の連続が、最も高い確率でこれを生成したか」だ。

これが重要だった理由は3つある。同じ単語でも発音するたびに少しずつ異なり、HMMはその変動を確率的に扱うことでテンプレートとの厳密な一致を要求しない。HMMは合成も可能で、音素レベルのモデルを単語レベルに、単語レベルのモデルを文レベルのモデルにつなげられる。そしてHMMは手作業ではなくデータから学習できるため、データが増えるほど優れたモデルが得られた。

1980年代後半までに、HMMはガウス混合モデル（GMM）と組み合わされ、標準的なアーキテクチャの音響モデルとなった。GMM-HMMシステムに、別のn-gram言語モデルを加え、一般的なテキストでの単語列の確率に基づいて候補トランスクリプトを再スコアリングする構成だ。

1990年代：商用ディクテーションの登場

GMM-HMMの枠組みは、商用製品を構築するのに十分な水準に達した。Dragon Dictateは1990年に9,000ドルで発売され、80,000語の辞書を搭載。これは単語ごとに区切って話す離散音声で、単語間にポーズを置く必要があった。IBMのViaVoice（1996年）は、話者非依存モデルで使い勝手を改善した。

そして1997年、Dragon NaturallySpeakingが150ドルで登場し、連続音声に対応。訓練なしのポーズで毎分約100語を認識できた。これは、ほとんどの人が実際に使える初めてのシステムだった。それでも話者トレーニングセッションで自分の声に適応させる必要があり、なまり、背景ノイズ、専門用語には依然として苦労した。だが、デスクトップでのディクテーションが実用的であることを証明した。

私の見解: 1990年代のシステムは当時の制約を考えれば印象的だったが、使い手を疲弊させるほど脆い面があった。静かな環境から外れたり、想定されたパターンから外れた発言をしたりすると、精度は崩壊した。統計的な仕組みは正しかった。データと計算能力がまだ足りなかったのだ。

2000年代: スケール、ニューラルネット、そしてGoogleの賭け

2008年に登場したGoogle Voice Searchは、大規模なデータセットと分散コンピューティングを使えば、小規模データセットを手作業でいくら調整するよりもアクセントやノイズにうまく対応できるモデルを生み出せることを示した。基盤となるモデルは依然としてGMM-HMMが中心だったが、トレーニングデータは学術研究者が使っていたものより桁違いに大きかった。

その頃、ジェフリー・ヒントンと共同研究者たちは、深層ニューラルネットワークが音響モデリングにおいてGMMを上回ることを実証していた。2012年の画期的な論文「Deep Neural Networks for Acoustic Modeling in Speech Recognition」は、ヒントン、李鄧、于東、ジョージ・ダールらがマイクロソフト、IBM、Google、トロント大学から参加し、標準的なHMMパイプラインでGMMを深層ニューラルネットワークに置き換えると、複数のベンチマークで大きな精度向上が見られることを示した。DNN-HMMハイブリッドは、何年もほとんど改善されていなかったシステムのエラー率を劇的に削減した。

この分野はほぼ即座に転換した。数年以内に、主要な商用ASRシステムはすべてGMM音響モデルをDNNに置き換えた。

2014年から2017年: エンドツーエンド学習

DNN-HMMハイブリッドは改善されたが、依然として3つのコンポーネントで構成されていた。音響モデル、発音辞書、言語モデルだ。各パーツは別々にトレーニングされ、推論時に噛み合わなければならなかった。研究者たちは、音声を直接テキストにマッピングする単一モデルをトレーニングできるかどうかを問い始めた。

ほぼ同時期に、2つのアプローチが登場した。

Connectionist Temporal Classification (CTC) は、2006年にAlex Graves氏が発表し、2014年頃にASR分野で注目を集めるようになった手法で、入力と出力の対応付けが事前に必要ない、シーケンス間モデルの学習を可能にしました。BaiduのDeep Speechは、双方向RNNとCTC損失を組み合わせ、従来の音素辞書や手作業による特徴量を使わずに、2014年にSwitchboard Hub5'00ベンチマークを打破しました。

Attentionベースのエンコーダ・デコーダ モデルは、機械翻訳から借用されたものです。2015年にChorowski氏やBahdanau氏らの研究により、音響シーケンスに対するソフトアテンションが、HMMで強制されていた明示的なアライメントを置き換えられることが示されました。モデルは自分自身でアライメントを学習したのです。

どちらのアプローチも、単一のニューラルネットワークが音響パターンと言語パターンをまとめてデータから学習し、個別のコンポーネントや発音辞書を必要としないという意味で「エンドツーエンド」でした。

2017年とTransformer

2017年にVaswani氏らGoogleの研究者たちが発表した論文「Attention Is All You Need」は、シーケンスモデリングのためのTransformerアーキテクチャを導入しました。これはNLPとASRを支配していたリカレントニューラルネットワークを、自己アテンション層に置き換えたもので、RNNのような逐次的なボトルネックなしに、シーケンス内の任意の2つの位置間の関係をモデル化できました。

Transformerは入力シーケンス全体を並列に処理でき、長距離依存関係を効率的にモデル化し、データと計算量の増加に応じてRNNが苦手とするスケーリングを実現しました。 2019年から2020年にかけて、TransformerベースのASRシステムは標準ベンチマークで最高の結果を達成していました。

Facebook AIのwav2vec 2.0（2020年）は、トランスフォーマーがラベルなし音声でも自己教師あり学習で事前学習でき、その後わずかな書き起こしデータで微調整できることを示しました。53,000時間のラベルなし音声で学習し、わずか10分のラベル付きデータで微調整するだけで、従来の手法では数千時間のラベル付きデータを必要としていた単語誤り率を達成しました。これは、書き起こしデータがほとんどない低リソース言語にとって大きな意味を持ちます。この問題については、AIが低リソース言語で苦戦する理由の投稿で詳しく取り上げています。

2022年から現在：Whisperとスケールの効果

OpenAIは2022年にWhisperをリリースしました。このモデルは標準的なエンコーダ・デコーダ型トランスフォーマーですが、その学習データは以前のものと比べてはるかに大規模で多様でした。ウェブから収集した680,000時間の音声と書き起こしのペアで、そのうち563,000時間が英語、117,000時間が他の96言語にわたります。

音声はエンコーダに入る前に、16,000Hzで25ミリ秒のウィンドウで計算された80チャンネルのログメルスペクトログラムに変換されます。デコーダはテキストトークンを自己回帰的に生成します。アーキテクチャ自体に特別な点はなく、違いを生んだのは学習データの規模でした。

ConvertAudioToTextの音声アップロードと文字起こしツール

Whisper Large-v3は、クリーンな読み上げ音声のベンチマークで約3パーセントの単語誤り率を達成しています。実際の精度は音声品質によって変動し、クリーンな録音では5パーセント未満のWERに収まる一方、ノイズの多い音声や複数話者の会話音声では誤り率が15〜30パーセントに達することもあります。比較として、人間の文字起こし担当者は良好な条件下で2〜4パーセント、ノイズの多い環境では10〜15パーセントのWERを通常達成します。

WERが何を意味し、なぜ誤解を招くのかを基礎から説明した記事は、文字起こしの精度を解説の投稿をご覧ください。

なぜ70年もかかったのか

この分野の進展を妨げていた3つの制約があり、それらはおおむねこの順序で解決されていった。

データ。 Whisperは68万時間で学習した。1997年のDragon NaturallySpeakingはそのはるか手前のデータ量で、学べるモデルも相応に浅いものだった。音声を大規模に収集してラベル付けするのはコストがかかったが、やがてウェブがそれを無料で提供してくれた。

計算リソース。 68万時間でトランスフォーマーを学習するにはGPUクラスタが必要だ。2012年のDNN-HMMブレークスルーは、研究予算でもディープネットワークを回せるほどGPUが手頃になった時期と重なる。それ以前は、計算資源が利用できなかった。

アルゴリズム。 HMMは1980年代に使えたデータと計算リソースにぴったりの枠組みだった。ディープネットは理論的にはもっと早くから魅力的だったが、当時のハードウェアとデータセットの規模では実用上訓練できなかった。トランスフォーマーは、RNNを大規模に訓練しづらくしていた並列処理と長距離依存の問題を解決した。

教訓: どの世代の研究者も、制約が許す限界の近くで仕事をしていた。1952年のAudreyチームは、テンプレートマッチングとアナログ回路で難しいことを成し遂げた。1980年代のHMM研究は統計的に厳密で、長く通用するものだった。2012年のディープラーニングへの転換が速かったのは、アイデアが熟し、計算リソースが追いついたからだ。こうして見ると、現在のトランスフォーマー時代は魔法のように見えず、同じパターンの次の反復にすぎないとわかる。

最新のエンドツーエンド認識を実際に試すなら、ConvertAudioToTextの音声からテキストへのツールがファイルを現在のパイプラインに通してくれる。

FAQ

最初の音声認識システムは何か?

Bell Labsは1952年にAudreyを開発した。これは数字の0から9を認識できたが、単一の話者と管理された条件下に限られていた。6フィートのリレーラックを占め、各数字のフォルマント周波数を保存済みテンプレートと照合する仕組みだった。

隠れマルコフモデルとは何か、そしてなぜ音声認識に重要だったのか？

隠れマルコフモデル（HMM）は、音声を観測可能な出力（音響特徴）を生み出す隠れた状態（音素）の連続としてモデル化する。音声を固定テンプレートに照合するのではなく、HMMは観測された音声を生成した可能性が最も高い音素列を計算する。この確率的な枠組みは、発音の自然な変動に対応でき、初期のテンプレート照合方式では不可能だった大語彙へのスケーリングを実現した。

2012年に何が変わって、音声認識がこれほど向上したのか？

2012年のブレークスルーは、標準的なGMM-HMMパイプラインにおけるガウス混合モデル（GMM）の音響コンポーネントを、ディープニューラルネットワークに置き換えたことだ。Hinton、Deng、Yu、DahlらがMicrosoft、Google、IBM、トロント大学の協力者と共に発表した論文で、DNN-HMMハイブリッドシステムが複数のベンチマークでGMM-HMMベースラインを大幅に上回る性能を示し、業界全体での急速な採用を促した。

音声認識における「エンドツーエンド」とは何か？

エンドツーエンドシステムは、音声を直接テキストにマッピングするよう訓練された単一のニューラルネットワークであり、別々に訓練して組み合わせる必要のある音響モデル、発音辞書、言語モデルを持たない。BaiduのDeep Speech（2014年）はCTC損失を用いた初期の代表的な例だ。Whisperはエンコーダー・デコーダートランスフォーマーアーキテクチャを用いたより最近の例である。主な利点は、訓練パイプラインが簡素化され、最終的な文字起こしに向けて全てを共同で最適化できる点だ。

現代の音声認識はどの程度正確か？

きれいで明瞭な単一話者の音声では、最先端モデルの単語誤り率（WER）は5%を下回ります。一方、ノイズが多い音声、会話調の音声、複数話者の音声では、WERは一般的に15%から30%の範囲に落ち込みます。人間の文字起こし担当者は、良好な条件下でおよそ2%から4%のWERを達成し、難しい音声では10%から15%に悪化します。精度は何よりも音声の品質に依存します。背景ノイズ、話者の重なり、低い録音ビットレートが、最高のモデルでも誤り率を押し上げる主な要因です。

出典

• OpenAI Whisperの発表と技術詳細: https://openai.com/index/whisper/
• OpenWhisprの要約によるWhisper技術論文: https://openwhispr.com/blog/how-whisper-ai-works
• 音声認識の歴史的マイルストーン（Milvus）: https://milvus.io/ai-quick-reference/what-is-the-history-of-speech-recognition-technology
• ASRの歴史（Descript/Medium）: https://medium.com/descript/a-brief-history-of-asr-automatic-speech-recognition-b8f338d4c0e5
• Audreyと初期システム、コンピュータ歴史博物館: https://computerhistory.org/blog/audrey-alexa-hal-and-more/
• Janet M. BakerのWikipedia（HMM/Dragonの起源）: https://en.wikipedia.org/wiki/Janet_M._Baker
• James K. BakerのWikipedia: https://en.wikipedia.org/wiki/James_K._Baker
• 2012年のDNN-HMM論文（Hintonら）、IEEE Signal Processing Magazine: https://www.cs.toronto.edu/~gdahl/papers/deepSpeechReviewSPM2012.pdf
• CTC、Wikipedia: https://en.wikipedia.org/wiki/Connectionist_temporal_classification
• wav2vec 2.0論文（arXiv）: https://arxiv.org/pdf/2006.11477
• 「Attention Is All You Need」（arXiv）: https://arxiv.org/abs/1706.03762
• WERベンチマークと精度の議論（AssemblyAI）: https://www.assemblyai.com/blog/word-error-rate-is-broken
• DARPA SURプログラムとHarpy（CMU歴史文書）: https://rr.cs.cmu.edu/SUR.pdf
• ASRにおけるサンプリングレートとナイキスト（Picovoice）: https://picovoice.ai/blog/audio-sampling-and-sample-rate/