Voice Cloning

음성 복제는 생성형 AI를 사용해 특정 인물의 목소리로 새로운 음성을 생성하는 것입니다. 화자 녹음본을 바탕으로 복제 시스템은 목소리의 음높이, 음색, 억양, 리듬 등 해당 목소리를 알아볼 수 있게 하는 특성을 학습한 뒤 새로운 텍스트나 번역된 대사를 그 목소리로 말합니다. Baidu의 Sercan Arık과 동료들은 2018년 논문 '적은 샘플을 이용한 신경망 음성 복제'에서 현재도 사용되는 두 접근법을 제시했습니다. 다중 화자 모델을 새 목소리에 맞게 조정하거나, 모델이 조건으로 사용하는 벡터로 목소리를 인코딩하는 방식입니다. 최신 시스템은 몇 초 분량의 오디오만으로도 설득력 있는 복제 음성을 생성합니다. 따라서 이 기술은 접근성과 미디어 제작에 유용한 동시에 사기에도 악용될 수 있습니다.

음성 복제본 구축 방법#

대부분의 복제 시스템은 화자 정체성 표현을 텍스트 음성 변환(TTS)에 추가합니다. 수천 개의 음성으로 학습된 화자 인코더는 참조 녹음본을 화자 임베딩이라는 고정 길이 벡터로 압축합니다. Google의 2018년 SV2TTS 시스템은 두 녹음본이 같은 사람의 음성인지 판별하는 화자 검증을 사용해 인코더를 학습했으며, 처음 보는 화자의 오디오는 몇 초만 필요했습니다. TTS 모델은 텍스트와 임베딩을 함께 입력받아 멜 스펙트로그램과 같은 음향 표현을 예측하고, 신경망 보코더는 이를 오디오 파형으로 변환합니다.

시스템은 주로 두 가지 방법으로 목소리를 복제합니다:

• 제로샷 복제: 3초에서 30초 길이의 짧은 참조 클립을 여러 화자로 학습한 모델에 입력합니다. 재학습이 필요하지 않아 새 목소리를 즉시 사용할 수 있지만, 강한 억양이나 감정 표현은 덜 정확하게 옮겨집니다.
• 미세 조정 복제: 한 화자의 깨끗한 녹음본을 수분에서 수시간 분량 사용해 모델의 가중치를 조정합니다. 데이터와 연산량이 더 많이 필요하지만 목소리를 더 가깝고 안정적으로 재현하므로 전문 내레이션 음성은 대개 이 방식으로 만듭니다.

최신 시스템은 음성을 언어처럼 처리합니다. 신경망 오디오 코덱은 잔차 벡터 양자화를 통해 오디오를 이산 토큰으로 압축하며, Transformer 언어 모델은 해당 토큰을 생성합니다. Microsoft의 VALL-E는 2023년 1월 공개된 시스템으로, 영어 음성 6만 시간으로 학습되어 3초 분량의 프롬프트를 같은 목소리, 감정, 실내 음향으로 이어서 생성합니다. 오용 위험 때문에 Microsoft는 이를 공개하지 않았습니다. OpenAI도 같은 이유로 Voice Engine을 공개하지 않았으며, 2024년 3월 15초 샘플만으로 음성을 복제하는 기술로 미리 소개했습니다. 어떤 접근법이든 참조 녹음의 잡음, 클리핑, 실내 잔향은 복제 음성에도 반영됩니다.

음성 복제와 텍스트 음성 변환 및 음성 변환 비교#

표준 TTS는 설계되거나 라이선스가 부여된 음성 목록에서 하나를 선택해 말하며, 음성 복제를 사용하면 특정 인물을 대상으로 할 수 있습니다. 음성 변환은 녹음된 음성을 입력으로 받아 원래 연기의 단어, 타이밍, 감정은 유지하면서 화자의 정체성을 바꾸는 유사 기술입니다. 음성-텍스트 변환은 반대 방향으로 작동하여 오디오를 텍스트로 변환합니다. 자동 더빙은 이 세 가지를 연결합니다. 원본 대화를 전사하고, 번역한 다음 배우의 복제 음성으로 번역문을 말하게 합니다.

누군가가 실제로 하지 않은 말을 한 것처럼 보이도록 복제 음성을 사용하면 오디오 딥페이크가 됩니다.

음성 보존, 더빙 및 게임 대사#

• Apple의 Personal Voice를 이용한 음성 뱅킹: ALS 진단을 받았거나 인후 수술을 앞둔 사람은 아직 목소리를 낼 수 있을 때 짧은 문구들을 녹음합니다. 그러면 iPhone이 기기에서 해당 목소리의 합성 버전을 만들어 입력한 메시지를 읽어 줍니다.
• 더빙 및 내레이션: 스튜디오와 오디오북 출판사는 승인된 복제 음성을 사용해 원래 화자의 목소리로 콘텐츠를 다른 언어로 현지화하고, 내레이터를 다시 녹음실로 부르지 않고도 수정된 대사를 녹음합니다.
• 게임 및 가상 비서: 개발자는 일관된 목소리로 대량의 캐릭터 대사를 생성하며, 성우는 계약에 따라 자신의 음성 복제본 사용을 허가합니다.

사기, 동의 및 탐지#

범죄자는 소셜 미디어 영상에서 목소리를 복제한 뒤, 긴급한 금전 요청을 하며 친척이나 직원에게 전화를 겁니다. 이러한 가짜 긴급 상황 사기에 효과적으로 대응하려면 전화를 끊고 알려진 번호로 해당 인물에게 다시 전화해야 합니다. 2024년 1월에는 바이든 대통령의 목소리를 복제한 자동 발신 전화가 뉴햄프셔 유권자들에게 주 예비선거에 참여하지 말라고 했습니다. 2024년 2월에는 미국 연방통신위원회가 AI로 생성된 음성은 전화 소비자 보호법에 따라 "인공" 음성으로 간주된다고 판정해, 사전 동의가 없는 이러한 자동 발신 전화를 불법으로 규정했습니다. 책임감 있는 음성 플랫폼은 음성 소유자의 녹음된 동의를 요구하고, 공인의 음성 복제를 제한하며, 나중에 식별할 수 있도록 생성된 오디오에 들리지 않는 AI 워터마크를 삽입합니다. C2PA 콘텐츠 자격 증명은 미디어 파일의 생성 및 편집 방식을 기록한 서명된 정보를 추가합니다.

탐지에는 오디오 및 시각적 증거를 함께 활용합니다. 오디오 분류기는 보코더가 남기는 스펙트럼 아티팩트를 찾고, 2015년부터 진행된 ASVspoof 챌린지 시리즈는 새로운 음성 복제 및 변환 공격을 대상으로 이를 벤치마크합니다. 비디오 검사는 입술 움직임과 사운드트랙을 비교해 실제 영상에 복제 음성이 더빙된 경우를 찾아냅니다. "b", "m", "p" 소리에서 입을 다무는 움직임은 같은 순간의 오디오와 일치해야 하기 때문입니다. 이러한 검사는 먼저 모든 프레임에서 화자의 얼굴을 찾고 추적해야 합니다. Ultralytics YOLO26으로 학습한 얼굴 탐지기는 추적 모드에서 실시간으로 이 작업을 수행하고, 각 얼굴에 지속적인 ID를 할당하여 립싱크 모델에 화자별로 연속된 입 영역 이미지 시퀀스를 제공합니다.