文字起こしが間違える理由、その失敗モードを解説

短い答え

AI文字起こしのエラーは、それぞれ根本原因が異なる5つの明確なカテゴリに分類されます。どのカテゴリに属するかを把握すれば、修正の焦点をどこに当てるべきかがわかります。ランダムに見えるエラーも、実際にはまったくランダムではありません。

音響エラー: モデルが聞き間違えた

根本的な原因は、劣化した音声信号です。 モデルに届く音が曖昧だと、モデルは推測し、時には間違った推測をします。

最も一般的な音響的な原因:

狭帯域の電話音声。 標準的な電話通信は音声を8kHzでエンコードするため、4kHz以上の周波数成分のほとんどが切り落とされます。2025年の実在のコールセンター録音を使ったベンチマークでは、最高のシステムでもその音声での精度は87.7%にとどまり、広帯域録音で日常的に見られる95〜99%には及びませんでした。失われた高周波数帯は、特定の摩擦音や破裂音を区別するためにまさに必要なものです。

背景ノイズ。 ノイズは音声信号を覆い隠し、信号対雑音比を低下させます。モデルが受け取るのは、クリーンな声ではなく、声と環境音が混ざったものです。技術的な選択肢については、文字起こしにおける背景ノイズへの対処を参照してください。

距離と残響。 部屋の反対側にあるマイクは、元の音の残響のぼやけを拾います。波形がモデルに届く頃には、子音のエッジはぼやけ、短い単語は部屋の反射音の中に消えてしまいます。

マイクのアーティファクト。 破裂音のポップ、風切り音、クリッピング、ドロップアウトは、それぞれモデルが音素を区別するために必要な情報を奪います。クリッピングされた波形は復元不可能で、モデルは子音があるべき場所に平坦な線を見ることになります。

私の見解:音響的なエラーは、ほぼ常に発生源で修正可能です。静かな部屋での至近距離の指向性マイクは、文字起こしプロバイダーを乗り換えるよりも大きな精度向上につながります。

言語的エラー:モデルは正しく聞き取ったが、間違った単語を選んだ

モデルは音声を正しく受け取ったものの、音響的に類似した選択肢から誤った単語を選んだ。 これは信号の問題ではなく、言語モデルの失敗です。

同音異義語

「Their」「there」「they're」は同じように聞こえます。モデルは周囲の文脈を使って一つを選びますが、短い文や話者の切り替えが速い場合、その文脈は薄くなります。同じことが「affect」と「effect」、「principal」と「principle」、そして何百もの類似したペアにも当てはまります。選択は確率的であり、モデルは時に自信満々で間違えます。

語彙外(OOV)の単語

これは最も一貫した失敗モードの一つです。すべての文字起こしモデルには訓練済みの語彙があります。その語彙の外にある単語、最も多いのは固有名詞、ブランド名、珍しい姓、専門用語ですが、これらは最も近い語彙内の同等語として誤認識されます。モデルは訓練されていないものを出力することはできません。

「Atrion」という会社名は「Adrian」と返ってきます。「Dupixent」のような薬剤名は「duplex aunt」になります。創業者の名前は最も近い一般的な単語として表記されます。OOVエラーは、精度が最も重要となるまさにその場面で痛手となります。なぜなら、名前やブランド用語は、一般的な置き換えによって失われる意味を担っているからです。

実用的な対策:DeepgramとWhisperベースのシステムはどちらも、語彙バイアスや初期プロンプトをサポートしています。文字起こし前に期待される固有名詞のリストを入力することで、OOVの見逃しを大幅に減らせます。

数字と形式

「3.50ドル」「350」「3:50」、これらはすべて同じ発話を文脈によって解釈した場合の妥当な候補です。モデルはそのうちの1つを選びますが、しばしば誤った形式を選びます。法的文書、金融関連の電話会議、科学講演など、数字が密集する専門的な文脈では、数字のエラー率が高くなる傾向があります。

専門分野の語彙

医療、法律、科学、技術の各分野には、一般的なトレーニングデータにはあまり含まれていない専門用語があります。「Dysarthria（構音障害）」は「this arthria」と変換されたり、「Fiduciary（受託者）」が「field theory」と返ってくることもあります。モデルは、音響的に似た位置を占める、より一般的な単語を優先してしまうのです。

モデルが競合する候補からどのように選択するかの仕組みについては、文字起こしの精度の解説をご覧ください。

話者エラー: 言葉は正しいが、話者が違う

ダイアライゼーションは各話者に言葉を割り当てます。これが失敗すると、文字起こし自体は正しくても、発言の帰属が誤ります。 2025年に発表された研究によると、実際のシングルチャンネル音声におけるダイアライゼーションのエラー率は、セグメント化されていない音声で10〜18%に達します。

声が混同される理由

話者ダイアライゼーションは、各話者セグメントから音声埋め込みを抽出し、それらをクラスタリングすることで機能します。ピッチ、話速、アクセントが似ている2人の話者は、その埋め込み空間内で近い位置に配置され、クラスタリングアルゴリズムがセグメントを誤って割り当ててしまいます。

短い発言は問題を悪化させます。誰かが「そうです」や「うん」とだけ言って話を戻す場合、モデルはその話者の同一性を固定するための手がかりをほとんど得られません。こうした一言の相槌は、誤って帰属されることが頻繁にあります。

クロストーク: 最も困難なケース

1人のマイクに2人が同時に話すと、その音響的特徴は1つの波形に融合し、ダイアライゼーションアルゴリズムは数学的に分離できません。 結果として、話者が脱落するか、実際には存在しない幻の話者が出現します。重なりを認識するダイアライゼーションシステムはこうした領域を明示的に検出してフラグを立てますが、これは黙って誤った帰属をするよりはましなものの、根本的な内容は依然として曖昧です。

マルチチャンネル録音、つまり話者ごとに1本のマイクを使う方法なら、これはきれいに解決します。チャンネル分離により、単一マイクのダイアライゼーションでは再現できない信号がモデルに与えられます。

クラスタリングの仕組みの詳細な解説は、話者ダイアライゼーションの解説をご覧ください。

境界エラー: 正しい単語、間違った位置

音声セグメントの端にある単語は、一貫してエラーが最も発生しやすい位置です。 この原因となるメカニズムは2つあります。

音声活動検出のクリッピング

ほとんどの文字起こしパイプラインは、音声活動検出(VAD)を使って発話領域を特定し、無音をスキップします。過度に敏感なVADは少し早く、または少し遅くトリガーされ、発話の最初の音素や文の最後の子音を切り落とします。「はい」「いいえ」「そして」といった短い単語は完全に消えてしまいます。このエラーは、文字起こしに誤った単語が存在しないため見えません。正しい単語が単に欠落しているだけなのです。

Whisperにおけるチャンク境界のアーティファクト

Whisperは長い音声を30秒のウィンドウで処理し、予測されたタイムスタンプに基づいて前方へシフトします。チャンク境界にまたがる単語は、一方のウィンドウの末尾と次のウィンドウの先頭で2回処理されます。その結果、単語の重複、単語の欠落、または2つの異なる単語を融合するスプライスが発生します。これはWhisperの長文文字起こしパイプラインにおける文書化された挙動であり、特殊なケースではありません。

WhisperXのようなツールは、デコード後に専用のアライメントステップを追加し、単語のタイムスタンプを音声信号に再調整します。これにより、境界アーティファクトは軽減されますが、完全には排除されません。

トランスクリプトを確認する際、約30秒ごとに現れるセグメント境界の位置は、この種のエラーが発生する可能性が最も高い場所です。

幻覚:誰も発言していない言葉

モデルが、対応する音声が存在しないテキストを生成した。 これは他のカテゴリとは質的に異なります。誤解釈された実際の入力が存在せず、モデルが何もないところから出力を創作したからです。

長い無音と非音声音声

Whisperが無音、背景音楽、または非音声ノイズの間にテキストを生成することは広く文書化されています。具体的な幻覚はランダムではありません。Whisperは約68万時間のウェブ音声(大量のYouTubeコンテンツを含む)でトレーニングされたため、録音の終わり近くの無音を動画のアウトロフレーズと関連付けることを学習しました。法的な宣誓供述書のトランスクリプトに「ご視聴ありがとうございました」や「チャンネル登録をお願いします」といった出力が現れるのは、WhisperがYouTubeのアウトロスクリプトから学習したテキストを挿入しているのであり、実際に誰かが話したテキストではありません。

繰り返しループ

別の認識されている障害モードは繰り返しループです。デコーダーが同じフレーズを繰り返し生成し続け、音声内の何かが新しいアンカーを提供するまで続きます。調査では、監査対象の19言語中14言語でこの動作が文書化されています。このパターンは視覚的に明らかで、フレーズが5回または10回連続で繰り返され、そのセクションを切り詰めるべきシグナルとして扱うべきです。

トレーニングデータの漏洩

YouTubeのフレーズ以外にも、Whisperは入力音声ではなくトレーニングデータに由来すると思われるフレーズを生成することが示されています。これらは文法的に妥当であるため、自動検出が困難です。無音または非常に静かな音声領域からのトランスクリプトを手動でスポットチェックすることが、これらを捕捉する最も信頼できる方法です。

1つの対策:モデルの前にVADを置くこと。これで、幻覚を引き起こす無音区間をモデルが見ることはありません。適切に設定された文字起こしパイプラインの大半は、これをデフォルトで行っています。

カテゴリの組み合わせ方

実際の録音が、たった1つのカテゴリだけで失敗することはほぼありません。互いに時折話をかぶせる2人のホストが、HVACノイズのある部屋でノートPCのマイクを使って録音したポッドキャストは、音響エラー、クロストーク時の話者分離の失敗、ゲストがマイナーな名前を挙げたときの語彙外エラー、そしてエピソード前の無音中の幻覚を生み出します。エラープロファイルは加算的です。

最も効率的な診断方法は、文字起こしから10個のエラーを取り出し、それぞれをカテゴリごとに分類し、どのカテゴリが優勢かを見ることです。それによって、修正作業の投資先がわかります。

精度範囲はAssemblyAIの2026年ベンチマークとVoicegainの2025年コールセンター調査に基づいています。個々の結果はエンジンと音声によって異なります。

修正方法の情報源

この投稿ではメカニズムを説明しました。実践的な対策については:

• 音声品質とマイクの選択: クリアな文字起こしのためのマイクのヒント と 文字起こし前の音声品質向上
• ノイズ低減テクニック: 文字起こしにおける背景ノイズへの対処
• ノイズの多いファイルからより正確な出力を得る: 音声品質が悪い場合の文字起こし
• サービス間で精度の数値が異なる理由: 文字起こしの精度を解説

修正に時間をかける前に、自分の音声をテストにかけたいなら、ConvertAudioToTextの無料プラン でアカウントなしで最大10分までアップロードできます。結果を見れば、あなたのファイルでどのエラーカテゴリが優勢かがわかります。

よくある質問

誰も言っていないのに、文字起こしに「ご視聴ありがとうございました」と出るのはなぜ?

これはWhisperのトレーニングデータに起因する、文書化された幻覚です。Whisperは約68万時間のウェブ音声から学習しており、その大部分は字幕付きのYouTube動画から来ています。モデルは無音や非音声ノイズをYouTube動画の典型的な終わり方と関連付け、そのフレーズを出力として生成します。背景にかすかに聞こえる何かを文字起こししているのではなく、音声の欠落に対してパターンマッチングしているのです。

固有名詞がほぼ常に間違っているのはなぜ?

固有名詞、姓、ブランド名、珍しい名前は、一般的なトレーニングデータにあまり含まれていません。モデルがほとんど見たことのない名前や初めての名前に遭遇すると、音響パターンに最も近い語彙内の単語に置き換えます。これは語彙外（OOV）問題と呼ばれ、すべての文字起こしエンジンで最も一貫して見られる失敗モードの一つです。語彙バイアスをかけるか、期待される名前をリストした初期プロンプトを与えるのが直接的な解決策です。

同じ話者が、なぜ別々の人物としてラベル付けされることがあるのですか？

話者ダイアライゼーションは、音声の埋め込み表現をクラスタリングすることで機能します。短い発話、単語一つや相槌などは、話者の同一性を確実に固定するだけの音響信号を持ちません。モデルはそれらを、その瞬間に最も近いクラスタに割り当てますが、それが正しい話者ではない可能性があります。これは、短い応答が素早く交互に交わされる、テンポの速い会話で特に起こりがちです。

AI文字起こしは、はっきりと話された音声でも幻覚を起こすことがありますか？

はい、ありますが、まれです。より一般的なシナリオは、無音、音楽、または非音声ノイズの間の幻覚です。はっきりと話された音声では、起こり得るエラーのほとんどは、置換（間違った単語が選ばれる）であり、挿入（単語が作り出される）ではありません。クリーンな音声での真の幻覚も起こります。特に、デコーダーがループにはまる繰り返しパターンで発生しますが、これは無音によって引き起こされる種類とは異なるメカニズムです。

話者が重なることで起こる文字起こしエラーに対して、何かできることはありますか？

最も効果的な解決策は、話者ごとに個別のマイクを使って録音することです。マルチチャンネル音声は、クロストークを正しくダイアライズできなくする波形の混ざり合いを排除します。それが現実的でない場合は、最近のダイアライゼーションシステムのほとんどに重なり検出モードがあり、誤った帰属を黙って行う代わりに、曖昧なセグメントにフラグを立ててくれます。そのフラグが立ったセグメントは手動で後編集してください。

出典

• AssemblyAI、「2026年の音声認識精度はどの程度か」 https://www.assemblyai.com/blog/how-accurate-speech-to-text
• Voicegain、「2025年、8 kHzコールセンター音声ファイル向け音声認識精度ベンチマーク」 https://www.voicegain.ai/post/2025-speech-to-text-accuracy-benchmark-for-8-khz-call-center-audio-files
• TechCrunch、「OpenAIのWhisper文字起こしツールに幻覚問題があると研究者が指摘」 https://techcrunch.com/2024/10/26/openais-whisper-transcription-tool-has-hallucination-issues-researchers-say/
• Gladia、「AIモデルのバイアス：OpenAIのWhisperで何が問題だったのか」 https://www.gladia.io/blog/ai-model-biases-what-went-wrong-with-whisper-by-openai
• AssemblyAI、「話者分離とは何か、そしてどう機能するのか」 https://www.assemblyai.com/blog/what-is-speaker-diarization-and-how-does-it-work
• arxiv.org、「非音声音声によって誘発されるWhisper ASR幻覚の調査」 https://arxiv.org/html/2501.11378v1
• Kerson AI Solutions、「音声認識におけるアクセントバイアス：課題、影響、そして解決策」 https://kerson.ai/research/accent-bias-in-speech-recognition-challenges-impacts-and-solutions/