Voice Cloning

音声クローンとは、AIを使って特定の人物の声に似た新しい音声を生成することです。録音を再生するのではなく、システムが話者の声の特徴を学習し、その人が実際には話したことのない言葉の音声を生成します。これにより、聞き慣れた声でコミュニケーションを取ったり、一貫した声でコンテンツをナレーションしたりできます。一方で、声が本物らしく聞こえても、話者本人である証拠にはなりません。

音声クローンの仕組み#

音声クローンシステムは、対象となる話者の録音から始めます。ピッチや音色（同じピッチでも2つの声の違いを生み出す特性）、発音などの特徴を分析します。また、話し方を自然に聞こえさせるリズム、強勢、イントネーションといった韻律の要素も学習します。録音品質は重要です。背景雑音、マイクの位置のばらつき、あるいは話し方が1種類しか含まれていないサンプルは、生成音声の信頼性を低下させる可能性があります。

システムは、音声生成に利用できる形式で話者の特徴を表現します。これは多くの場合、話者埋め込みと呼ばれます。これは声の聞こえ方を数値で簡潔に表したものであり、文のリストを保存したものではありません。カスタム音声ワークフローでは、話者の録音と音声ジェネレーターを組み合わせます。テキストが「何を」話すかを指定し、学習した声の特徴が「どのように」聞こえるかに影響します。短いサンプルから適応できるワークフローもありますが、出力品質はサンプルとタスクによって異なります。インスタントカスタム音声のドキュメントでは、適切な音声録音と同意の重要性が説明されています。

次にジェネレーターが音声波形、つまりスピーカーやヘッドホンで再生される変化する信号を生成します。本物らしい結果には、聞き取れる言葉と認識可能な声の両方が必要です。同じ人でも、ささやいたり、笑ったり、別の言語を話したりすると声が変わることがあります。そのため、短いクリップで本人らしさを再現できても、あらゆる状況で自然に話せるとは限りません。

音声クローンと関連用語#

音声クローンは、書かれた言葉を学習済みの特定可能な声で読み上げる場合における、テキスト読み上げの特定の用途です。一般的なテキスト読み上げでは、特定の人物に似せず、あらかじめ設定された合成音声を使用できます。クローン技術では、話し言葉の音声を入力として受け取り、その言葉を別の声で出力することもできます。決め手となるのは対象の声であり、入力がテキストか音声かではありません。

音声認識は逆方向に処理し、話し言葉を文字起こしに変換します。録音のピッチや速度を変える処理は、これとも異なります。そうした編集では既存の音声を変更しますが、学習した声のアイデンティティから発話を生成するわけではありません。音声クローンは新しい音声を生成するため、生成AIに該当します。

クローン音声によって、本人が言っていないことを話しているように合成メディアで巧みに見せる場合、その音声はディープフェイクの一部となります。この2つの用語は同じ意味ではありません。自分の声のクローンを許可を得てコミュニケーションに使う人が、必ずしも誰かを欺こうとしているわけではありません。

2つの現実世界のアプリケーション#

用途の1つは、支援コミュニケーションです。話す能力を失う可能性がある人は、自分の声を録音しておき、後からメッセージを入力して、その声を合成した音声で読み上げることができます。Appleのパーソナルボイスに関するガイダンスでは、対応するアクセシビリティ機能を使ったコミュニケーションの方法として、このアプローチが説明されています。この場合、聞き取れる言葉を作ることと同じくらい、聞き慣れた声を保つことが重要になる場合があります。

もう1つの用途は、許可を得たナレーションと吹き替えです。声優は制作チームに許可を与え、一貫した声で承認済みのセリフや翻訳ナレーションを生成してもらうことができます。これにより、修正のたびに録音し直す必要を減らせますが、発音、感情表現、言語の変更については引き続き人による確認が必要です。Amazon Pollyの韻律に関するガイダンスで説明されているような話速やピッチの調整は、話し方を調整するものであり、本人の声を使用する許可に代わるものではありません。

音声とビジョンが交わるところ#

音声クローンは画像ではなく音声を扱います。ただし、マルチモーダルAIアプリケーションでは、別のビジョンコンポーネントと連携できます。たとえば、アクセシビリティに配慮した動画を制作する場合、映像を分析して目に見える物体を特定し、説明文を作成して確認した後、許可を得たクローン音声でナレーションを付けることができます。Ultralytics YOLO26と、ドキュメントで説明されているpredictモードは、視覚処理の段階で画像や動画を処理できます。音声のクローン作成や話者の本人確認は行いません。それぞれの役割を分けておくと、開発者は各コンポーネントを実際の機能に基づいて評価しやすくなります。

同意、真正性、安全性#

声は本人のアイデンティティと密接に結び付いているため、クローンを作成する前に明確な許可を得て、生成音声の使用範囲について合意してください。Microsoftの音声タレントに関する同意ガイダンスでは、明示的な同意プロセスの例が紹介されています。録音と生成音声をデータプライバシーの一環として保護し、その状況で必要な場合は、音声が合成されたものであることを聞き手に伝えてください。

サイバー犯罪者は、親族や経営幹部からの電話に見せかけた通話でクローン音声を使い、金銭を送るよう相手に圧力をかけることがあります。FTCの偽の緊急事態を装う詐欺に関するガイダンスでは、発信者の声を信頼するのではなく、すでに本物だと確認している電話番号を通じて依頼の真偽を確かめるよう勧めています。公開する音声については、C2PAのコンテンツ認証情報に関する解説で、メディアの来歴を記録する方法が説明されています。来歴はファイルの履歴に関する有用な情報を提供しますが、それだけで発話されたすべての主張が真実だと証明されるわけではありません。