AI Dubbing

AI吹き替えとは、録音された音声や動画の元のコンテンツに合わせて、通常は別の言語で差し替え用の音声を生成するために人工知能を利用することです。文字起こし、翻訳、音声生成を組み合わせることで、視聴者は同じシーンや話者の交代を追いながら、希望する言語で会話を聞くことができます。

自動吹き替えまたはオートダビングとも呼ばれ、生成AIを使って、タイミングと話し方を調整した音声を生成します。ElevenLabsの吹き替えが示すように、システムは話者ごとの声の特徴を保ち、元の音楽、効果音、環境音を残すことができます。

AI吹き替えの仕組み#

一般的なワークフローは、会話をタイムスタンプ付きのテキストに変換する音声認識から始まります。話者ダイアライゼーションによって、各人物が話すタイミングを特定します。機械翻訳で文字起こしを対象言語に変換し、テキスト読み上げで差し替え用の会話音声を生成します。新しい声を残すサウンドトラックにミックスする前に、タイミングを調整し、各発話を割り当てられた時間に合わせます。これらのコンポーネントは、AWSのメディアローカライズパイプラインに組み込まれています。

翻訳では、意味を保ちながら、利用できる発話時間に収める必要があります。アイソクロニーとは、このように発話の長さを合わせることを指し、翻訳後の発話を原文とほぼ同じ時間枠に収めます。長さを調整した翻訳、文の短縮、話速の調整によって、この制約に対応できます。MagellanTVのローカライズワークフローでは、用語辞書、慣用表現の調整、人によるレビュー、文の短縮を組み合わせ、翻訳したドキュメンタリーのナレーションを作成します。

映像吹き替えでは、コンピュータービジョンを使って口の動きを変更し、差し替えた音声に合わせます。翻訳とリップシンクを組み合わせたワークフローでは、音声吹き替えでサウンドトラックを生成し、別のリップシンクモデルで動画を更新します。

この映像の前処理では、UltralyticsのYOLO26で構築したカスタム顔検出器にトラッキングモードを使用できます。これにより、フレーム間で顔の検出結果に一貫したIDを割り当て、後続のリップシンク処理に向けて連続した顔のシーケンスを整理できます。

AI吹き替えと関連する概念#

関連する用語には、構成要素や代替となる出力を表すものがいくつかあります。

• ボイスクローニング：特定の人物に似た音声を生成します。吹き替えでは、クローン音声または選択した合成音声を使用できます。
• 音声認識：話し言葉をテキストに変換します。自動音声認識、ASR、音声テキスト変換は同義語です。
• AI動画編集：映像吹き替え、リフレーミング、シーン編集など、動画に対する幅広い自動変更を指します。

ボイスチェンジでは、既存のパフォーマンスの言葉と話し方を保ちながら、声の特徴を変更します。字幕では、翻訳したテキストを画面に表示します。AI吹き替えでは、差し替え用の会話音声を生成し、文字起こしと音声合成はその処理の別々の段階として機能します。

用途と再生#

ドキュメンタリーのローカライズは実用的な活用例です。MagellanTVは、Mission CloudおよびAWSと開発したワークフローを使い、字幕を翻訳し、翻訳した表現を確認して、ナレーションを合成します。カスタム用語のサポートにより専門用語の一貫性を保ち、慣用表現への対応によって言語をまたいで意図した意味を伝えます。

教育動画のローカライズにも、これらのコンポーネントが利用されています。Khan Academyの動画は、機械翻訳、音声合成、音声と映像の同期を組み合わせたワークフローで翻訳され、既存のレッスンを追加の言語で音声コンテンツとして利用できるようになっています。

YouTubeでは、自動生成された言語トラックにより、視聴者はオリジナル音声と吹き替え音声を切り替えられます。視聴者はプレーヤーの音声トラックコントロールからオリジナル言語を選択し、クリエイターはYouTube Studioで自動吹き替えと公開の設定を管理します。このシステムでは、よく見られる品質上の問題も明らかになります。背景雑音やアクセントは文字起こしを妨げることがあり、固有名詞、慣用表現、専門用語は、誤訳や誤った発音につながることがあります。

品質、同意、同期#

吹き替えの品質には、翻訳の正確さ、聞き取りやすさ、話者の一貫性、表現力、同期など、いくつかの側面があります。韻律、つまり話し言葉のリズム、強勢、音高、間は、強調や感情を保つうえで役立ちます。流暢な翻訳でも、強調する箇所がずれると、話者の意図の受け取られ方が変わります。

安全性には、データプライバシーと声の特徴に対する管理の両方が関わります。録音や音声モデルには、個人を特定できる話者の情報が含まれます。同意を得ることで、その人の声を再現する許可が得られます。無断のクローニングは、音声のディープフェイクにもつながります。ボイスクローニングを使ったなりすまし詐欺では、犯罪者が聞き覚えのある声を使い、緊急事態を装った詐欺の依頼を信じ込ませます。

映像吹き替えでは、同期の精度を文の長さより細かくし、個々の音声にまで合わせます。リップシンクシステムは、目に見える口の形を生成音声に同期させます。「b」「p」「m」の子音では、唇を閉じる動きが目に見える必要があります。