Voice Cloning

Клонирование голоса — это использование ИИ для создания новой речи, звучащей как речь конкретного человека. Вместо воспроизведения записи система изучает узнаваемые особенности голоса говорящего и генерирует аудио со словами, которых он, возможно, никогда не произносил. Это может помочь человеку общаться привычным голосом или озвучивать материалы в едином стиле, но убедительно звучащий голос не доказывает, кто именно говорит.

Как работает клонирование голоса#

Система клонирования голоса начинает работу с записей целевого говорящего. Она анализирует такие характеристики, как высота тона, тембр — свойство, благодаря которому два голоса звучат по-разному при одинаковой высоте тона, — и произношение. Она также изучает особенности просодии: ритм, ударения и интонацию, благодаря которым речь звучит естественно. Качество записи имеет значение. Фоновый шум, непостоянное расположение микрофона или образцы, содержащие только одну манеру речи, могут снизить надежность сгенерированного голоса.

Система представляет характеристики говорящего в форме, которую можно использовать при генерации аудио; такую форму часто называют векторным представлением говорящего. Это компактное числовое описание звучания голоса, а не сохраненный список предложений. Рабочий процесс создания пользовательского голоса объединяет записи говорящего с генератором речи: текст задает, что сказать, а изученные характеристики голоса влияют на то, как это звучит. Некоторые рабочие процессы могут адаптироваться по короткому образцу, хотя качество результата зависит от образца и задачи; в документации по мгновенному созданию пользовательского голоса показано, насколько важны подходящая запись голоса и согласие.

Затем генератор создает звуковую волну — изменяющийся сигнал, который воспроизводит динамик или наушники. Для убедительного результата нужны как разборчивые слова, так и узнаваемый голос. Один и тот же человек может звучать по-разному, когда шепчет, смеется или говорит на другом языке, поэтому совпадение с его голосом в одном коротком фрагменте не гарантирует естественного звучания в любой ситуации.

Клонирование голоса и связанные термины#

Клонирование голоса — это отдельный способ применения синтеза речи из текста, при котором написанные слова произносятся узнаваемым голосом, характеристики которого были изучены. Обычный синтез речи из текста может использовать заранее заданный синтетический голос, не похожий ни на одного конкретного человека. Для клонирования также можно взять на вход произнесенную речь и воспроизвести ее слова другим голосом; определяющая особенность — целевой голос, а не то, был ли исходным материалом текст или речь.

Распознавание речи работает в противоположном направлении, преобразуя произнесенные слова в расшифровку. Изменение высоты тона или скорости записи — это уже другое: такие правки меняют существующее аудио, а не создают высказывание на основе изученной идентичности голоса. Клонирование голоса относится к генеративному ИИ, поскольку оно создает новое аудио.

Клонированный голос становится частью дипфейка, когда синтетические медиа убедительно изображают человека, говорящего то, чего он не говорил. Эти термины не взаимозаменяемы: человек, использующий разрешенный клон собственного голоса для общения, не обязательно пытается кого-либо обмануть.

Два применения в реальном мире#

Одно из применений — вспомогательная коммуникация. Человек, который ожидает утратить способность говорить, может записать свой голос, а позднее набирать сообщения, которые будут произноситься синтезированной версией его голоса. В руководстве Apple по Personal Voice описан такой подход к общению с помощью поддерживаемых функций универсального доступа. В этом случае сохранение привычного голоса может быть столь же важным, как и возможность услышать слова.

Еще одно применение — озвучивание и дубляж с разрешения. Актер озвучивания может разрешить съемочной группе сгенерировать утвержденные реплики или переводную озвучку узнаваемым голосом. Это позволяет реже перезаписывать каждую новую версию, но произношение, эмоциональную подачу и языковые изменения все равно должен проверять человек. Настройки скорости речи и высоты тона, например описанные в руководстве Amazon Polly по просодии, меняют подачу, но не заменяют разрешение на использование чьего-либо голоса.

На стыке голоса и компьютерного зрения#

Клонирование голоса работает с аудио, а не с изображениями. Однако в приложении с мультимодальным ИИ оно может использоваться наряду с отдельным компонентом компьютерного зрения. Например, создатель доступного видео может проанализировать видеоматериал, чтобы определить видимые объекты, написать и проверить описание, а затем озвучить его клонированным голосом с разрешения владельца. Ultralytics YOLO26 и описанный режим predict могут обрабатывать изображения или видео на этапе анализа визуальных данных. Они не клонируют голоса и не подтверждают личность говорящего. Разделение этих задач помогает разработчикам оценивать каждый компонент по тому, что он действительно делает.

Согласие, подлинность и безопасность#

Голос человека тесно связан с его личностью, поэтому перед созданием клона получи четкое разрешение и договорись, где можно использовать результат. В руководстве Microsoft по получению согласия от актеров озвучивания приведен пример явной процедуры получения согласия. Защищай записи и сгенерированное аудио в рамках обеспечения конфиденциальности данных, а также сообщай слушателям, когда речь синтетическая, если это важно для контекста.

Киберпреступники могут использовать клонированный голос в звонке, который якобы поступает от родственника или руководителя, и давить на человека, чтобы тот отправил деньги. В рекомендациях FTC по мошенничеству с вымышленными экстренными ситуациями советуют проверять просьбу, перезвонив по номеру, подлинность которого уже известна, а не доверять звучанию голоса звонящего. Для опубликованного аудио объяснение C2PA о Content Credentials описывает способ фиксировать происхождение медиафайла. Сведения о происхождении дают полезный контекст об истории файла, но сами по себе не доказывают истинность каждого произнесенного утверждения.