Voice Cloning

음성 복제는 AI를 사용해 특정 인물의 목소리와 비슷한 새로운 음성을 생성하는 기술입니다. 녹음을 그대로 재생하는 대신, 시스템은 화자의 목소리에서 식별 가능한 특성을 학습하고 그 사람이 실제로 말한 적 없는 문장의 오디오를 생성합니다. 이를 통해 익숙한 목소리로 의사소통하거나 일관된 목소리로 콘텐츠를 나레이션할 수 있지만, 목소리가 그럴듯하다고 해서 실제 화자가 누구인지 증명되는 것은 아닙니다.

음성 복제 작동 방식#

음성 복제 시스템은 대상 화자의 녹음으로 시작합니다. 시스템은 음높이, 음색(같은 음높이에서도 두 목소리를 다르게 들리게 하는 특성), 발음과 같은 특징을 분석합니다. 또한 말을 자연스럽게 들리게 하는 리듬, 강세, 억양인 운율의 측면도 학습합니다. 녹음 품질도 중요합니다. 배경 소음, 일관되지 않은 마이크 배치, 한 가지 말하기 방식만 담긴 샘플은 생성된 음성의 신뢰도를 떨어뜨릴 수 있습니다.

시스템은 오디오를 생성할 때 사용할 수 있는 형식으로 이러한 화자 특성을 표현하며, 이를 흔히 화자 임베딩이라고 합니다. 이는 목소리가 어떻게 들리는지를 간결하게 수치로 나타낸 것으로, 문장 목록을 저장한 것이 아닙니다. 맞춤 음성 워크플로는 화자 녹음과 음성 생성기를 결합합니다. 텍스트는 말할 내용을 제공하고, 학습된 음성 특성은 말하는 방식에 영향을 줍니다. 일부 워크플로는 짧은 샘플만으로도 조정할 수 있지만, 출력 품질은 샘플과 작업에 따라 달라집니다. 즉석 맞춤 음성 문서는 적절한 음성 녹음과 동의가 중요한 이유를 설명합니다.

이후 생성기는 화자나 헤드폰에서 재생되는 변화하는 신호인 오디오 파형을 생성합니다. 결과물이 그럴듯하려면 알아들을 수 있는 문장과 식별 가능한 목소리가 모두 필요합니다. 같은 사람도 속삭이거나 웃거나 다른 언어로 말할 때 목소리가 달라질 수 있으므로, 짧은 클립 하나에서 정체성이 일치한다고 해서 모든 상황에서 자연스러운 음성이 보장되지는 않습니다.

음성 복제와 관련 용어#

음성 복제는 글로 된 문장을 학습된 식별 가능한 목소리로 읽어 주는 텍스트 음성 변환의 구체적인 활용 사례입니다. 일반적인 텍스트 음성 변환은 특정 인물과 닮지 않은 사전 설정된 합성 음성을 사용할 수 있습니다. 음성 복제는 음성 오디오를 입력으로 받아 그 내용을 다른 목소리로 재생할 수도 있습니다. 핵심은 입력이 텍스트에서 시작했는지 음성에서 시작했는지가 아니라 대상 목소리입니다.

음성 텍스트 변환은 반대 방향으로 작동하여 음성으로 된 말을 텍스트로 변환합니다. 녹음의 음높이나 속도를 바꾸는 것도 이와는 다릅니다. 이러한 편집은 학습된 음성 정체성으로 발화를 생성하는 대신 기존 오디오를 변경합니다. 음성 복제는 새로운 오디오를 생성하므로 생성형 AI에 속합니다.

A cloned voice becomes part of a deepfake when synthetic media convincingly presents a person as saying something they did not say. The two terms are not interchangeable: a person using an authorized clone of their own voice for communication is not necessarily trying to deceive anyone.

두 가지 실제 응용 분야#

한 가지 활용 사례는 보조 의사소통입니다. 말하는 능력을 잃을 것으로 예상되는 사람은 자신의 목소리를 녹음해 두고, 나중에 메시지를 입력하여 그 목소리를 합성한 버전으로 말하게 할 수 있습니다. Apple의 Personal Voice 안내는 지원되는 접근성 기능을 통한 의사소통에 이 접근 방식을 활용하는 방법을 설명합니다. 이 경우 익숙한 목소리를 보존하는 일은 말을 들리게 하는 것만큼 중요할 수 있습니다.

또 다른 활용 사례는 승인된 나레이션 및 더빙입니다. 성우는 제작팀이 승인된 대사나 번역된 나레이션을 일관된 목소리로 생성하도록 허용할 수 있습니다. 이렇게 하면 수정할 때마다 다시 녹음할 필요를 줄일 수 있지만, 발음, 감정 표현, 언어 변경 사항은 여전히 사람이 검토해야 합니다. Amazon Polly의 운율 안내에 설명된 말하기 속도 및 음높이 제어 기능은 발화 방식을 조정할 뿐, 해당 인물의 목소리를 사용할 권한을 대신하지 않습니다.

음성과 비전이 만나는 지점#

음성 복제는 이미지가 아닌 오디오를 처리합니다. 하지만 멀티모달 AI 애플리케이션에서는 별도의 비전 구성 요소와 함께 사용할 수 있습니다. 예를 들어 접근성이 높은 동영상을 제작하는 사람은 영상에서 보이는 객체를 식별하고 설명을 작성해 검토한 다음, 승인된 복제 음성으로 설명을 나레이션할 수 있습니다. Ultralytics YOLO26과 문서화된 predict 모드는 시각 처리 단계에서 이미지나 동영상을 처리할 수 있습니다. 그러나 음성을 복제하거나 화자의 신원을 확인하지는 않습니다. 각 구성 요소의 역할을 분리하면 개발자가 구성 요소의 실제 기능에 따라 각각을 평가하는 데 도움이 됩니다.

동의, 진위성 및 안전#

사람의 목소리는 정체성과 밀접하게 연결되어 있으므로, 복제 음성을 만들기 전에 명확한 허가를 받고 생성된 음성을 어디에 사용할 수 있는지 합의해야 합니다. Microsoft의 성우 동의 안내는 명시적인 동의 절차의 예를 제공합니다. 녹음과 생성된 오디오를 데이터 개인정보 보호의 일부로 보호하고, 해당 맥락이 중요한 경우 청취자에게 음성이 합성된 것임을 알려야 합니다.

사이버 범죄자는 가족이나 임원이 건 전화처럼 보이는 통화에서 복제 음성을 사용해 누군가에게 돈을 보내도록 압박할 수 있습니다. FTC의 가짜 긴급 상황 사기 안내는 발신자의 목소리를 믿기보다 이미 진짜임을 알고 있는 전화번호를 통해 요청을 확인하라고 권고합니다. 공개된 오디오의 경우 C2PA의 Content Credentials 설명은 미디어 출처 기록 방법을 설명합니다. 출처 정보는 파일의 이력에 대한 유용한 맥락을 제공하지만, 그 자체만으로 모든 발언이 사실임을 입증하지는 않습니다.