Voice Cloning

Клонирование голоса — это использование генеративного ИИ для создания новой речи голосом конкретного человека. На основе записей говорящего система учится распознавать особенности его голоса, включая высоту, тембр, акцент и ритм, а затем озвучивает этим голосом любой новый текст или переведённую реплику. В статье 2018 года «Нейронное клонирование голоса по нескольким образцам» Серкан Арык и его коллеги из Baidu описали два подхода, которые используются до сих пор: адаптация многоязычной модели к новому голосу или кодирование голоса в вектор, на который опирается модель. Современным системам достаточно нескольких секунд аудио для создания убедительной копии голоса. Это делает технологию ценной для обеспечения доступности и производства медиаматериалов, но столь же полезной для мошенников.

Как создают клон голоса#

Большинство систем клонирования расширяют синтез речи из текста (TTS), добавляя представление личности говорящего. Кодировщик говорящего, обученный на тысячах голосов, сжимает эталонную запись в вектор фиксированной длины — эмбеддинг говорящего. Система SV2TTS от Google, разработанная в 2018 году, обучала кодировщик проверке личности говорящего: он определял, принадлежат ли две записи одному человеку. Для работы ей требовалось всего несколько секунд аудио незнакомого модели говорящего. Модель TTS получает текст и эмбеддинг и предсказывает акустическое представление, например мел-спектрограмму, а нейросетевой вокодер преобразует его в звуковую волну.

Системы клонируют голоса двумя основными способами:

• Клонирование в режиме zero-shot: Короткий эталонный аудиофрагмент, часто длиной от 3 до 30 секунд, подаётся на вход модели, обученной на голосах многих говорящих. Дообучение не требуется, поэтому новый голос доступен сразу, хотя сильные акценты и эмоциональная подача передаются менее надёжно.
• Клонирование с дообучением: Веса модели адаптируют на чистых записях одного говорящего длительностью от нескольких минут до нескольких часов. Для этого нужно больше данных и вычислений, зато сходство получается точнее и стабильнее. Поэтому профессиональные дикторские голоса обычно создают именно так.

В более новых системах речь рассматривается как язык. Нейросетевой аудиокодек сжимает звук в дискретные токены с помощью остаточной векторной квантизации, а языковая модель на основе трансформера генерирует эти токены. Система VALL-E от Microsoft, обученная на 60 000 часах английской речи, продолжает трёхсекундный аудиофрагмент, сохраняя голос, эмоцию и акустику помещения. Microsoft не выпустила её публично из-за риска злоупотреблений. OpenAI поступила так же с Voice Engine, показав в марте 2024 года, что система клонирует голос по образцу длительностью 15 секунд. При любом подходе шум, обрезание звука и эхо помещения из эталонной записи переходят в копию.

Клонирование голоса, синтез речи из текста и преобразование голоса#

Стандартный синтез речи из текста (TTS) использует фиксированный набор специально созданных или лицензированных голосов, а клонирование позволяет воспроизводить голос конкретного человека. Близкий к нему метод преобразования голоса принимает записанную речь и меняет личность говорящего, сохраняя слова, темп и эмоции исходного исполнения. Преобразование речи в текст работает в обратном направлении, расшифровывая аудио в слова. Автоматический дубляж объединяет все три этапа: расшифровывает исходный диалог, переводит его, а затем озвучивает перевод клонированным голосом актера.

Клонированный голос, использованный для создания впечатления, будто человек сказал то, чего никогда не говорил, — это аудио-дипфейк.

Сохранение голоса, дубляж и диалоги в играх#

• Банкинг голоса с Personal Voice от Apple: Люди с диагнозом БАС или перед операцией на горле записывают короткий набор фраз, пока еще могут это сделать, а iPhone создает на устройстве синтетическую версию их голоса, чтобы произносить сообщения, которые они набирают.
• Дубляж и озвучка: Студии и издатели аудиокниг используют согласованные с дикторами копии их голосов, чтобы локализовать контент на другие языки, сохраняя голос оригинального говорящего, а также перезаписывать исправленные реплики без повторного приглашения диктора в студию.
• Игры и виртуальные помощники: Разработчики генерируют большие объемы реплик персонажей единым голосом, а актеры озвучивания предоставляют лицензии на свои голосовые клоны по договору.

Мошенничество, согласие и обнаружение подделок#

Преступники клонируют голос из роликов в социальных сетях, а затем звонят родственнику или сотруднику с настоятельной просьбой перевести деньги; надежная защита от таких мошеннических звонков с выдуманной экстренной ситуацией — повесить трубку и перезвонить человеку по известному номеру. В январе 2024 года роботизированные звонки с клонированным голосом президента Байдена призывали избирателей в Нью-Гэмпшире пропустить праймериз штата, а в феврале 2024 года Федеральная комиссия по связи США постановила, что голоса, созданные ИИ, считаются «искусственными» в соответствии с Законом о защите потребителей телефонных услуг, поэтому такие роботизированные звонки без предварительного согласия незаконны. Ответственные голосовые платформы требуют записанного согласия владельца голоса, ограничивают клонирование публичных лиц и встраивают в сгенерированное аудио неслышимые водяные знаки ИИ, чтобы его можно было распознать позже. Учетные данные C2PA добавляют подписанную запись о том, как медиафайл был создан и отредактирован.

Для обнаружения используют аудио- и визуальные свидетельства. Аудиоклассификаторы ищут спектральные артефакты, оставляемые вокодерами, а серия соревнований ASVspoof, проводимая с 2015 года, проверяет их на новых атаках клонирования и преобразования голоса. При анализе видео движение губ сверяют со звуковой дорожкой, чтобы выявить наложенный на настоящие кадры клонированный голос, ведь смыкание рта при произнесении звуков «б», «м» и «п» должно совпадать с аудио в тот же момент. Проверка начинается с поиска лица говорящего и его отслеживания в каждом кадре — эту задачу в реальном времени выполняет детектор лиц, обученный на Ultralytics YOLO26, в режиме трекинга: он присваивает каждому лицу постоянный ID, чтобы модель синхронизации губ получала непрерывную последовательность фрагментов рта каждого говорящего.