ミュージシャン向け文字起こし：ボーカルからの歌詞抽出（2026年版）

AIは楽曲から歌詞を取り出せるのか？

分離されたボーカルテイクであれば、はい、実用に耐える十分な信頼性があります。一方、フルプロダクションミックスでは答えはより限定的になります。2025年にarxivで公開された研究（arxiv.org/abs/2506.15514）によると、Whisperは先行するソース分離の精度にかかわらず、非語彙的な音節やバッキングボーカルを体系的に削除し、さらにソース分離のアーティファクトがハルシネーションを積極的に引き起こしうることがわかりました。実際の楽曲ミックスでの単語誤り率は、分離前には20〜23%前後で推移し、高品質なステムを使えば緩やかに低下します。最も重要なステップは、文字起こしの後にではなく前にボーカル分離を行うことです。

なぜミックス内のボーカルは文字起こしエンジンにとって最悪のケースなのか

Whisper Large-v3やDeepgram Nova-3といった文字起こしモデルは、圧倒的に話し言葉で訓練されています。そこに音楽を入力すると、3つの要因が重なって深刻な精度問題となります。

ピッチのある持続音は声の音響的特徴を変えてしまいます。 会話音声を想定しているモデルにとって、母音を2秒間伸ばすメリスマはノイズのように見えます。モデルはそれをスキップするか、音韻的な形に合った言葉を幻覚として生成します。

ボーカルとインストゥルメンタルの比率がほぼすべてを決めます。 アカペラのボイスメモはうまく文字起こしされます。同じ声でも、ドラム・ベース・キーボードのフルアレンジの下マイナス3dBでは、音韻的手がかりのかなりの部分を失います。

Whisperの内部プロンプティングループが誤りを累積させます。 モデルは前の出力を使って次のセグメントを条件付けします。1つのフレーズを聞き違えると、そこからズレていきます。だからこそ、冒頭はもっともらしく始まるのに、その後一度も歌われていない文章を生成する文字起こしが出ることがあるのです。これはDeepgramによるv3のハルシネーション分析で記録されている既知の失敗モードです。

実務上の結論：まず分離、次に文字起こし、そして手動でのクリーンアップ。インストゥルメンタル成分が大きいミックスでは、これは省略できません。

ステップ1：ボーカルを分離する

これは既存の記事では脚注扱いだったステップですが、最初に来るべきものです。他のすべてがステムのきれいさに依存するからです。

HTDemucs（fine-tunedモデルのhtdemucs_ft）が現在のオープンソースのベンチマークです。 Meta AI ResearchがMITライセンスのもとでメンテナンスしています。pip install -U demucsでインストールし、demucs --two-stems=vocals your_song.mp3を実行すれば、ボーカルステムとインストゥルメンタルステムが得られます。fine-tuned版はベースモデルの約4倍の時間がかかりますが、密度の高いミックスで明らかにきれいな分離結果を出します。2026年の独立系ベンチマークでは、2022年以降メンテナンスされていないDeezerの旧モデルSpleeterを一貫して上回る評価を受けています。

インストール不要のブラウザベースの方法をお望みなら、LALAL.AIが主要な有料選択肢です。料金（2026年7月1日確認）：無料枠は処理の遅いキューで10分。Liteは月6.75ユーロで低速キュー無制限＋高速キュー90分。Proは月13.50ユーロで高速キュー250分＋APIアクセス。有料プランで使えるOrionエンジンは、ポップやヒップホップで旧Phoenixエンジンより一貫してきれいなボーカルを生成します。

Spleeterは今もチュートリアルで引用されますが、その2019年のモデルアーキテクチャは、複雑なミックスにおいて現在の代替手段より大幅に見劣りします。HTDemucsかLALAL.AIを使いましょう。

ステップ2：分離したステムを文字起こしする

きれいなボーカルステムが手に入れば、あとは通常の音声音声として扱えます。音声をテキストに変換するツールは、ミュージシャンが普段扱うフォーマット（WAVロスレス書き出し、MP3圧縮テイク）に対応しています。アップロードするのはミックスではなくステムです。

よく分離されたボーカルでの現実的な精度は、標準的な英語やスペイン語の明瞭な発音であれば単語精度80〜90%の範囲です。モデルが取りこぼすと想定すべきなのは、非語彙的なフレーズ（"ooh"、"la"、"yeah"）、フレーズ末尾で途切れる音節、そしてセパレーターが完全に分離できなかったバッキングボーカルのレイヤーです。得られる文字起こしは足場であって、完成した歌詞カードではありません。4分のトラックなら、この足場から完全な歌詞カードに仕上げるのに通常10〜15分の手作業が必要です。記憶を頼りにゼロから始めれば30〜40分かかるところです。

英語以外のトラックでの文字起こし精度については、Whisper Large-v3は99言語に対応しており、分離されたボーカルでは英語以外の精度も英語と同程度の範囲に収まります。コードスイッチング（スパングリッシュの歌詞、英語のアドリブ入りのポルトガル語）も処理できますが、言語の境界で精度が数ポイント下がります。

ユースケース：ラフデモとボイスメモの歌詞

ほとんどのソングライターにとって最も価値の高いシナリオです。ビートに乗せてボーカルテイクを録音したけれど、インストゥルメンタルは静かではないし、歌詞はまだ書き留めていない。次のセッションまでにドラフトが必要——そんな状況です。

実際のワークフロー：

1. DAWでインストゥルメンタルをミュートするか減衰させてボーカルトラックを書き出します。ミックスしかない場合（誰かから送られてきたリファレンスファイル、ステムなしのデモバウンスなど）は、先にHTDemucsを実行します。
2. 分離したボーカルを文字起こしツールにアップロードします。
3. ドラフトを受け取ります。4分のトラックなら通常1分以内です。
4. 耳でクリーンアップします。読みながら聴き、取りこぼした非語彙フレーズや固有名詞を修正します。

初回精度が80〜85%でも、記憶を頼りに文字起こしする場合と比べた時間の節約は確実です。モデルは、セッションから2週間経った人間の記憶のようにラインを忘れることはありません。

ユースケース：セッションノートとプロデューサーのトークバック

スタジオセッションは、ミュージシャンがほとんどアーカイブしない何時間もの音声を生み出します。プロデューサーのディレクションノート、アーティストのテイク間のコメント、使い捨てのリファレンスなどです。この音声は普通の話し言葉（競合する音楽がない）なので、高精度で文字起こしされます。

ここでうまく機能するパターンは2つあります。あるプロデューサーはZoom H1nのような小型フィールドレコーダーをセッション中ずっと回し、一日の終わりに全音声を文字起こしします。別のやり方では、テイク間に意図的に録音したボイスメモのノートだけを文字起こしします。どちらでも、出力は検索可能なテキストになり、「先週火曜日のKendrickのトラックのあのドラムフィル」という参照を数ヶ月後にも見つけられます。

これは汎用の文字起こしツールがまさに想定している用途で、精度は音楽音声の場合より大幅に高くなります。出力の構造化については、プロデューサーのセッションノートにそのまま当てはまる議事録ワークフローの記事をご覧ください。

ユースケース：カバーワークとリファレンス歌詞

既存のリファレントラックにトライライニングするソングライターは、出発点や対照資料としてリファレンスの歌詞を紙面に欲しいことがあります。商用トラックをミックスから直接文字起こしすると、よく作り込まれたポップトラックでおよそ75〜85%、密度の高いアレンジではそれ以下になります。固有名詞、アドリブ、重なるバッキングボーカルに誤りが集中します。

市販されている楽曲なら、歌詞データベース（Genius、AZLyrics、Musixmatch）がすでにテキストを持っており、広くリリースされたトラックなら文字起こしより速いです。文字起こしが活きるのは、データベースに載っていないほど無名のリファレンスの場合や、未マスタリングで公開されたことのないワークテープを扱っている場合です。

音楽特化ツール vs. DIYアプローチ

ステム分離と文字起こしを1つの製品にまとめたツールもあります。Moisesが最もわかりやすい例です。1つのアプリでステム分離と並んで歌詞の文字起こしを提供しています。無料枠は月5トラック、各5分までで、文字起こしは最初の1分だけ表示されます。有料プランで全文の文字起こしと無制限のトラックが解放されます。RipX DAW PRO（買い切り、ベンダー価格を2026年7月に確認したところティアにより約60〜160ドル）はさらに進んでいて、分離したステムをノート単位で編集できます。リミックスには便利ですが、歌詞だけが目的なら過剰スペックです。

私の見解：1つの場所でステム編集と歌詞作業に本格的に時間を費やすなら、統合ツールは価値があります。たまに歌詞のドラフトが必要なだけのソングライターには、DIYの道（無料分離のHTDemucs、次にテキスト用の汎用文字起こしツール）の方が低コストで同等の結果が出ますし、製品のアップデートを待たずに、より良い分離モデルが出たらすぐ差し替えられます。

AIが一貫して苦手とするケース

手動の「一時停止して聴き取る」ワークフローが、歌詞に関しては常にAIに勝る3つのカテゴリーです。

積み重ねたハーモニーと重なるボーカル。 交互に絡み合うラインを歌う2人のボーカリストは、モデルが1つの声として読み取る信号を生み出します。出力は両方の声を1つの文字起こしに統合し、通常は静かな方を落とします。なぜこうなるのかはスピーカーダイアライゼーションの記事で詳しく解説していますが、歌詞に関する実務上の含意はシンプルです。機械による重複ハーモニーの分離はまだ安定して機能しません。

強い加工エフェクト。 軽いオートチューンは通常問題ありません。重いボコーダー、トークボックス、フォルマントシフトされたボーカルはしばしば読み取れません。自然な声の特徴で訓練されたモデルには、文字起こしを試みる前に極端な加工を逆算する信頼できる方法がありません。

極端な歌唱テクニック。 デスメタルのグロウル、最高音域ぎりぎりの激しいファルセット、非常に長いロングトーンでのオペラ的なビブラート。これらのスタイルのトレーニングデータは少なく、モデルはもっともらしく聞こえる音韻近似に頼りますが、それは実際の歌詞から大きく外れることがあります。

主にこれらのスタイルで活動しているなら、文字起こしは歌詞の40〜60%しか与えてくれず、残りを突き合わせる作業がかえって大変になります。その誤り率では手動の文字起こしの方が速いのです。

多言語の歌詞抽出

Whisper Large-v3は99言語に対応しており、分離されたボーカルステムでは、英語以外の精度もクリーンな英語音声と同程度の範囲に収まります。ラテンポップ、アフロビーツ、K-POPのワークフローはこの対応範囲の恩恵を受けます。コードスイッチング（スパングリッシュ、英語のアドリブ入りポルトガル語）も処理できますが、言語の境界で数ポイント精度が落ちます。エンジンはセクションにラベルを付けますが、フレーズ途中で切り替わったときにどの言語が有効かを必ずしも正しく特定しません。

多言語の文字起こしに取り掛かる前の有用なステップ：出力の最初の段落を読んで、言語検出が正しいか確認してください。モデルが元の言語を誤認識していた場合、文字起こし全体がその間違った言語へ漂流していきます。クリーンアップ段階で気づくより、早い段階でキャッチする方が速いのです。

はじめ方

アーカイブからボーカル中心のトラックを1つ取り出してください。ステムがあれば、文字起こしのステップに直接進めます。ミックスしかなければ、先にHTDemucsに通すか（LALAL.AIの無料10分枠に投入してもよい）、その後分離したボーカルを音声をテキストに変換するツールにアップロードし、出力を自分の記憶と比較してください。アカウントを作らずに始めたい場合は、ConvertAudioToTextならサインアップなしですぐに文字起こしを実行できます。

その最初の分離ボーカルで見られる精度は、ツールがあなたのカタログ全体でどう持ちこたえるかの信頼できる指標になります。

FAQ

完成してマスタリング済みの楽曲から直接歌詞を文字起こしできますか？

試すことはできますが、単語誤り率が20%を超え、バッキングボーカルや「ooh」「la」のような非語彙的なフレーズが体系的に削除されると想定しておく必要があります。2025年のarxiv論文（2506.15514）は、これらの失敗がボーカル分離後も残ることを確認しました。完成度の高いマスター音源では、より信頼できる道筋は、まずHTDemucsかLALAL.AIでボーカルステムを分離し、フルミックスではなくステムを文字起こしすることです。

Whisperは音楽でハルシネーションを起こしますか？

はい。Whisperは信号を明確に解析できないとき、音声とまったく関係のないテキストを生成することがあり、インストゥルメンタル（伴奏）部分は既知のトリガーです。直感に反しますが、Whisperの前にソース分離を実行すると、分離がアーティファクトを生む場合はハルシネーションが増えることもあります。最善の防御策は、2019年製で現在メンテナンスされていないSpleeterのような古いモデルではなく、高品質な分離モデル（HTDemucs fine-tuned、またはLALAL.AI Orionエンジン）を使うことです。

文字起こし前の無料ボーカル分離ツールとして最適なのは？

HTDemucs（fine-tuned版のhtdemucs_ft）は無料で、MITライセンスのオープンソースであり、Meta AI Researchがメンテナンスしています。pip install -U demucsでインストールし、demucs your_song.mp3で実行します。ボーカル、ドラム、ベース、その他のステムが出力されます。独立系ベンチマークでは、分離品質スコアでSpleeterを約10〜15%上回ります。インストール不要のブラウザ代替としては、LALAL.AIが10分間の無料枠を提供しています。

歌詞では手動の文字起こしがAIに勝るのはどんなとき？

手動作業が有利になるのは3つの状況です：オートチューンやボコーダー効果のかかった強加工のボーカル。デスメタルのグロウルや極端なファルセットなど、トレーニングデータが少ない極端な歌唱テクニック。そして重なり合うラインを持つ積層ハーモニーや2人のボーカリストで、ダイアライゼーションが破、ダイアライゼーションが破綻し、文字起こしが両方の声を1つに統合してしまうケースです。こうした場合、「一時停止して聴き取る」ワークフローの方が、正しいより間違いだらけのAIドラフトを修正するより速いのです。

参考資料

• LALAL.AIの料金：lalal.ai/pricing（2026年7月1日確認）
• Moisesの歌詞文字起こし機能：moises.ai/features/ai-audio-transcription（2026年7月1日確認）
• Arxiv: Exploiting Music Source Separation for Automatic Lyrics Transcription with Whisper: arxiv.org/html/2506.15514v1（2025年）
• Meta AI Research Demucs GitHub: github.com/facebookresearch/demucs（2026年7月1日確認）
• Deepgram: Whisper-v3 Hallucinations on Real World Data: deepgram.com/learn/whisper-v3-results（2026年7月1日確認）
• Hit'n'MixのRipX DAW: hitnmix.com/ripx-daw（2026年7月1日確認）