多言語会議の文字起こし：実際に機能する方法

結論から言うと、会議の半分以上を占める言語を文字起こし言語に設定し、1回の処理を実行した後、コードスイッチング部分をレビューします。 ほとんどの国際ビジネス会議では、これだけで合計1時間未満の作業で実用になるトランスクリプトが得られます。このガイドの残りの部分では、このシンプルなルールが破綻するケースと、その代わりの対処法を解説します。

異なるアプローチが必要な3つの混合パターン

すべての多言語会議が同じというわけではありません。言語の数よりも、パターンのほうが重要です。

逐次切り替えは最も簡単なケースです。話者Aが英語で5分間話し、話者Bがスペイン語で5分間答えます。最新のAI文字起こしは文境界での言語切り替えをうまく処理できます。優勢な言語を設定すれば、特別な設定なしでも多くのツールが正確な出力を生成します。

文中コードスイッチングはより難しいケースです。「Voy a check this with the customer mañana」は1つの発話の中でスペイン語と英語が混ざっています。「Notre client veut un upgrade urgent」はフランス語に英語が紛れ込んでいます。パイプラインが破綻するのはまさにここです。発話ごとに1つの言語ラベルを割り当てるカスケード方式は、言語を識別した時点ですでに文が変わってしまっているため、ここでは完全に失敗します。単一言語モデルに関する研究では、コードスイッチングを含むデータはクリーンな単一言語音声と比べて30〜50%高い単語誤り率を示すことがわかっています。最悪のケースでは、文内の誤り率は言語ペアによって38.7%から73.9%に及びます。

エンドツーエンドの多言語モデルは、独立した言語識別ステップを経由するのではなく、トークンレベルで動作するため、これをより上手く処理できます。Appleの研究では、連結トークナイザーを使用することで、文内コードスイッチングのタスクにおいて単語誤り率が相対的に55.5%削減されることが実証されました。実務上の教訓はこうです。文中の混合が激しい会議には、言語選択のドロップダウンがある標準的な文字起こしツールではなく、多言語ネイティブのモデルが必要だということです。

通訳ありの会議は独自のカテゴリです。ある話者がフランス語で発表し、通訳者が英語で繰り返します。録音には両方の声が残ります。追加の手がかりがない限り、どちらが原文でどちらが通訳なのかをAIツールが確実に判別することはできません。両方を文字起こしし、通訳側のトラックは手動でラベル付けし、翻訳は独立した下流ステップとして扱いましょう。

「優勢な言語」とは実際どういう意味か

発話時間の50%以上を占める言語を選び、それを文字起こし言語として設定します。モデルはその言語に音素解析を固定します。副次的な言語の部分は、文境界に出現すれば正しく文字起こしされます。文中に出現する場合は、音の聞こえに基づいた近似表現になります。

本当に半々であるなら、2パス方式はどんな1パス構成よりも良い結果をもたらします：

1. 言語Aを選択して1回目の処理。言語Aの部分はうまく文字起こしされます。言語Bの部分は、言語Aの文字体系による音の近似表現として返ってきます。
2. 言語Bを選択して2回目の処理。言語Bの部分はうまく文字起こしされます。
3. 各実行から良い方の部分を取り出してマージします。

手間は増えますが、本当に均衡した音声での精度向上は大きくなります。ほとんどのビジネス会議は70対30以上で一方の言語に偏っているため、1回の処理で十分です。

言語をまたぐ話者分離

話者分離は音響的な処理であり、言語的なものではありません。モデルが検出するのはピッチ、フォルマント、抑揚であって、語彙ではありません。英語とスペイン語を交互に使う話者には、全体を通じて同じラベルが付きます。言語ごとに1人ずつの2人の話者には、別々のラベルが付きます。

実際の精度の目安：

• 2人のバイリンガル会議：話者精度およそ90〜94%
• 4〜6人の国際電話会議：80〜88%
• 発話が重なる大規模な多言語円卓会議：70〜80%

話者分離の仕組みと失敗するポイントについて詳しくは、話者分離の解説をご覧ください。

参加者ごとの音声録音は、これらの数値を大幅に改善します。 Zoomではクラウド録画の設定で参加者ごとに個別の音声ファイルを有効化でき、最大200トラックまで対応します。Microsoft Teamsもクラウド録画からの参加者ごとのエクスポートに対応しています。ミックス録音ではなく話者ごとの個別ファイルをアップロードすれば、話者分離の誤りを引き起こすクロストークを排除できます。会議プラットフォームが対応している場合は、通話開始前に有効化しておきましょう。

翻訳は独立したステップ

よくある間違いは、文字起こしと翻訳を混同することです。これらは別々の操作であり、そう扱うべきものです。

まず元の言語で文字起こしします。ソーステキストが正しいか確認しましょう。特に人名、製品用語、コードスイッチング部分で音声的な誤りを起こした可能性のある箇所です。その後で初めて、検証済みのトランスクリプトに翻訳を実行します。

これが重要な理由は3つあります。第一に、音声的に崩れたトランスクリプトを翻訳すると、誤りが累積します。第二に、元の言語の記録が保持され、これは法的文書、規制当局への提出資料、監査証跡の正確性が求められるあらゆるものにとって重要です。第三に、どの部分を翻訳し、どの部分を原文のまま残すかを選択でき、これは全文翻訳よりも有用なことが多いのです。

チームが複数言語で会議を行い、共通言語で要約を配布しているなら、ワークフローはこうなります。元の言語で文字起こしし、レビューし、それから検証済みのトランスクリプトを翻訳します。また、混合言語の原文ではなく翻訳後のテキストに対してAI要約を実行するほうが、よりクリーンな出力になります。

言語別の精度：期待できること

99言語対応モデルといえども、すべての言語で同等の性能を発揮するわけではありません。英語、スペイン語、フランス語、ドイツ語、ポルトガル語は、標準ベンチマークで一貫して最低の単語誤り率を記録します。日本語と中国語はクリーンな音声では良好ですが、電話録音や強い訛りのある入力では劣化が早くなります。アフリカや東南アジアの多くの言語など、学習データにおける占有率が小さい言語は、クリーンな音声でも誤り率が高くなることがあります。

誤り率の高い言語での国際会議では、レビュー時間を多めに見積もりましょう。たまに副次的言語が混ざる英語主体の会議なら、音声1時間につき5〜10分のレビューが現実的です。対応が薄い言語での会議では、1時間あたり15〜20分近くを見込んでください。精度指標の読み方について詳しくは、文字起こし精度の解説をご覧ください。

多言語会議ツールの比較

Firefliesの無料枠に関する注意点：「無制限の文字起こし」という表示の実態は、ユーザーごとではなくチームごとの400分の保存容量です。4人が毎日会議するチームなら、思ったより早く上限に達します。

Otterは6言語という点で実際に制約があります。ヒンディー語、アラビア語、ポーランド語などで会議を行うチームには、Otterは選択肢になりません。FirefliesとHappy Scribeは100〜150以上の言語をカバーしますが、会議ごとに1言語を選ぶ必要があります。

FirefliesとOtterを会議向けワークフローで比較した詳細については、Fireflies vs. Otter 正直な比較をご覧ください。

通話に自動参加してトランスクリプトを受動的に取得する会議ボットをお探しなら、OtterとFirefliesはそのワークフロー向けに作られています。すでに録音があり、毎回ボットをインストールせずに正確な多言語トランスクリプトだけが必要なら、ConvertAudioToTextの会議文字起こしツールに直接アップロードし、処理前に言語を設定できます。

実際のワークフロー例

国際マーケティングチーム

スペイン、ブラジル、米国にメンバーを持つチームが、週次で英語を使って会議し、ときどきスペイン語やポルトガル語のサイド会話が発生するケースです。実際のワークフロー：

1. ZoomまたはTeamsで会議をMP4形式として録画します。
2. 主言語として英語を選択した状態で録音をアップロードします。
3. 英語主体のトランスクリプトが返り、文境界にあるスペイン語とポルトガル語の部分はそのまま保たれます。
4. アクションアイテムのために英語でAI要約を実行します。これを構造化された議事録にする方法については、音声から議事録を作成をご覧ください。

欧州の政策組織

フランス語圏、ドイツ語圏、英語圏の欧州にまたがるチームが、主にフランス語で会議し、副次的にドイツ語と英語の部分が含まれるケースです：

1. 会議を録音します。
2. 文字起こしの主言語としてフランス語を設定します。
3. 文境界にあるドイツ語と英語の部分は、元の言語で文字起こしされます。
4. 配布前に、文中コードスイッチングのセクションをレビューします。

ブラジルと米国のビジネスチーム

ブラジルの営業チームが米国の経営陣と連携するケースです。全体を通じてポルトガル語と英語が混在します：

1. 通話を録音します。
2. 主言語としてポルトガル語を設定します（ポルトガル語の総発話時間のほうが長いため）。
3. 文境界にある経営陣の英語の部分は正確に返ってきます。
4. 検証済みのポルトガル語トランスクリプトを、経営陣への配布用に英語へ翻訳します。

安定した結果のためのコツ

1. アップロード前に優勢な言語を特定します。 文字起こし言語をそれに合わせます。ここを間違えると、コンテンツの大部分に音声的な誤りが生じます。
2. 会議開始前に参加者ごとの音声録音を有効化します。 後からトラックを分離することはできません。ZoomとTeamsのどちらも対応しています。
3. 関連するすべての言語で固有名詞の用語集を作成します。 人名、会社名、製品のコードネームは、多言語音声で繰り返し誤りの原因になります。処理前に用語集を提出すれば、それらの誤りを減らせます。
4. 激しいコードスイッチングにはレビューを1回受け入れます。 文中の言語混合は、最高のモデルでも依然として誤りを生みます。混合の激しい音声1時間につき10〜15分のレビューが現実的です。
5. 要約の言語を事前に決めます。 一貫したドキュメントが必要な越境チームは、始める前に出力言語を1つ決めておくべきです。後からではありません。
6. 先に文字起こし、次に翻訳。 レビューしていないトランスクリプトに翻訳を実行してはいけません。誤りが累積すると、出力の修正は原文からやり直すよりも難しくなります。

よくある質問

AI文字起こしツールは、話者が文中で言語を切り替える会議にも対応できますか？

対応できるものもありますが、限界があります。AssemblyAI Universal-3などを支えるエンドツーエンドの多言語モデルは、発話ごとに1つの言語ラベルを割り当てるカスケード方式よりも、文内での言語切り替えをうまく処理できます。研究によると、単一言語モデルはコードスイッチングを含む音声に対して、クリーンな単一言語録音と比べて30〜50%高い単語誤り率を示します。文中で頻繁に言語が混在する会議では、短いレビュー時間を見込んでおきましょう。

2つの言語がほぼ半々で混在する会議では、どの言語を選択すればよいですか？

発話時間の半分以上を占める言語を選びます。文字起こしモデルはその言語に音素解析を固定します。本当に半々の場合は、言語ごとに2回処理を実行し、それぞれから良い方の部分をマージすることを検討してください。完全に均衡した音声への1回の処理では、両方の言語とも音の聞こえに基づいた近似表現しか得られません。

話者分離（ダイアライゼーション）は言語の切り替えをまたいでも機能しますか？

はい。話者分離は音響的な処理であり、言語的なものではありません。検出するのはピッチや抑揚といった声の特徴であって、語彙ではありません。1人の話者が英語とスペイン語を交互に使っても、同じ話者ラベルが付与されます。実際の精度は、2人のバイリンガル会議でおよそ90〜94%、発話が重なる大規模な多言語円卓会議では70〜80%程度です。

文字起こしと翻訳、どちらを先に行うべきですか？

先に文字起こしします。文字起こし後に翻訳すれば元の言語の記録が残るため、検証、法的文書、正確な文言が重要になるあらゆる場面で役立ちます。また、混在言語のトランスクリプトに翻訳をかける場合も、翻訳ステップに送る前に原文を確認できるため、よりクリーンな入力になります。

話者分離の精度向上のため、参加者ごとの音声をエクスポートできる会議ツールはどれですか？

Zoomでは、クラウド録画の設定で参加者ごとに個別の音声ファイルを記録でき、最大200トラックまで対応します。ミックスされた録音ではなく参加者ごとの個別ファイルをアップロードすると、各ファイルに1人の声だけが含まれるため、話者分離が大幅に改善します。Microsoft Teamsもクラウド録画からの参加者ごとの音声エクスポートに対応しています。

出典

• Otter.aiの料金と言語サポート：https://otter.ai/pricing
• Fireflies.aiの料金と無料枠：https://fireflies.ai/pricing
• Happy Scribeの料金：https://www.happyscribe.com/pricing
• Trintの料金概要：https://sonix.ai/resources/trint-pricing/
• GladiaのASRにおけるコードスイッチングの研究：https://www.gladia.io/blog/what-is-code-switching-in-speech-recognition
• AssemblyAIの多言語ストリーミング：https://assemblyai.com/docs/universal-streaming/multilingual-transcription
• ConvertAudioToTextの料金：https://convertaudiototext.com/pricing