Voice Cloning

声のクローン作成とは、生成AIを使い、特定の人物の声で新しい音声を生成することです。話者の録音音声を与えると、クローン作成システムは、声を特徴付ける高さ、音色、アクセント、リズムなどを学習し、新しいテキストや翻訳文をその声で読み上げます。BaiduのSercan Arıkらは、2018年の論文「Neural Voice Cloning with a Few Samples」で、現在も使われる2つの手法を示しました。複数話者モデルを新しい声に適応させる方法と、モデルの条件付けに使うベクトルとして声を符号化する方法です。現代のシステムは数秒の音声から説得力のあるクローンを生成できるため、アクセシビリティやメディア制作に役立つ一方、詐欺にも悪用される可能性があります。

音声クローンの仕組み#

多くの声のクローン作成システムは、話者の識別情報を表すデータをテキスト音声合成（TTS）に追加します。何千もの声でトレーニングされた話者エンコーダーは、参照音声を「話者埋め込み」と呼ばれる固定長のベクトルに圧縮します。Googleの2018年のSV2TTSシステムは、2つの録音が同じ人物のものかを判定する話者検証を使ってエンコーダーをトレーニングし、未学習の話者の音声を数秒与えるだけで済みました。TTSモデルはテキストと埋め込みを受け取り、メルスペクトログラムなどの音響表現を予測します。その後、ニューラルボコーダーがそれを音声波形に変換します。

音声をクローンする主な方法は2つあります。

• ゼロショット方式のクローン作成：通常3～30秒の短い参照クリップを、多数の話者でトレーニングしたモデルに入力します。再トレーニングは不要なため、新しい声をすぐに利用できますが、強いアクセントや感情的な話し方は再現の信頼性が低くなります。
• ファインチューニング方式のクローン作成：1人の話者による数分から数時間の高品質な録音でモデルの重みを調整します。より多くのデータと計算資源が必要ですが、本人に近く安定した再現が得られるため、プロのナレーション用音声は通常この方法で作られます。

新しいシステムでは、音声を言語として扱います。ニューラル音声コーデックが残差ベクトル量子化で音声を離散トークンに圧縮し、Transformer言語モデルがそのトークンを生成します。MicrosoftのVALL-Eは、英語音声6万時間でトレーニングされ、同じ声、感情、室内音響で3秒のプロンプトに続く音声を生成します。Microsoftは悪用のリスクを理由に、2023年1月の発表後も一般公開しませんでした。OpenAIも同様の方針を取り、Voice Engineを2024年3月にプレビュー公開し、15秒のサンプルから声をクローンできると紹介しました。どの手法でも、参照音声のノイズ、クリッピング、室内の残響はクローンにも引き継がれます。

音声クローニング、テキスト読み上げ、ボイスコンバージョンの違い#

標準的なTTSは、あらかじめ用意またはライセンスされた固定の音声セットを使いますが、音声クローンでは特定の人物の声を指定できます。音声変換はこれに近い技術で、録音された音声を入力として、元の演技の言葉、タイミング、感情を保ちながら話者のIDを置き換えます。音声テキスト変換は逆方向の処理で、音声を文字に書き起こします。自動吹き替えでは、この3つを連続して実行します。元のセリフを書き起こし、翻訳した後、俳優のクローン音声で翻訳文を読み上げます。

実際には言っていない内容を話したように見せるためにクローン音声を使うことは、音声のディープフェイクです。

ボイスバンキング、吹き替え、ゲームの会話#

• AppleのPersonal Voiceによる音声バンキング： ALSと診断された人や喉の手術を控えた人は、まだ録音できるうちに短いフレーズをいくつか録音します。iPhoneはデバイス上で本人の声を合成した音声を作成し、入力したメッセージを読み上げます。
• 吹き替えとナレーション： スタジオやオーディオブックの出版社は、許諾を得たクローン音声を使い、元の話者の声のままコンテンツを他言語にローカライズしたり、ナレーターを録音ブースに呼び戻さずに修正箇所を録音したりします。
• ゲームとバーチャルアシスタント： 開発者は、声優が契約のもとで自身の音声クローンをライセンス提供する形で、一貫した声による大量のキャラクター台詞を生成します。

詐欺、同意、検出#

犯罪者はソーシャルメディアの動画から声を複製し、親族や従業員に電話をかけて、緊急の金銭要求をします。こうした偽の緊急詐欺への確実な対策は、いったん電話を切り、把握している電話番号にかけ直すことです。2024年1月には、バイデン大統領の声を複製した自動音声電話がニューハンプシャー州の有権者に予備選挙を棄権するよう伝えました。2024年2月、米国連邦通信委員会は、AI生成音声を電話消費者保護法における「人工音声」に該当すると判断し、事前の同意なしにこうした自動音声電話をかけることを違法としました。責任ある音声プラットフォームは、声の持ち主から録音による同意を得て、公人の音声クローン作成を制限し、生成した音声に後から識別できるよう、聞こえないAIウォーターマークを埋め込みます。C2PAコンテンツ認証情報は、メディアファイルの作成・編集方法を記録した署名付き情報を追加します。

検出では、音声と映像の両方の証拠を組み合わせます。音声分類器は、ボコーダーが残すスペクトル上のアーティファクトを探します。2015年から続くASVspoofチャレンジシリーズでは、新たな音声複製や変換攻撃に対する性能を評価します。映像の検査では、実映像に複製した声を吹き替えたケースを検出するため、口の動きと音声を照合します。「b」「m」「p」の音では口が閉じる必要があるため、その瞬間の音声と一致しなければなりません。こうした検査ではまず、各フレームで話者の顔を検出して追跡します。この処理は、Ultralytics YOLO26で学習した顔検出器がトラッキングモードでリアルタイムに実行できます。顔検出器は各顔に永続的なIDを割り当てるため、リップシンクモデルは話者ごとに連続した口元画像の系列を受け取れます。