Voice Cloning

Nhân bản giọng nói là việc sử dụng AI tạo sinh để tạo lời nói mới bằng giọng của một người cụ thể. Với bản ghi âm của người nói, hệ thống nhân bản học những đặc điểm giúp nhận diện giọng nói đó, bao gồm cao độ, âm sắc, giọng vùng miền và nhịp điệu, rồi đọc bất kỳ văn bản mới hoặc câu đã dịch nào bằng giọng đó. Trong bài báo năm 2018 “Nhân bản giọng nói thần kinh với một vài mẫu”, Sercan Arık và các đồng nghiệp tại Baidu trình bày hai phương pháp vẫn được dùng đến nay: điều chỉnh model đa người nói cho giọng mới hoặc mã hóa giọng nói thành vector để model dựa vào đó. Các hệ thống hiện đại tạo được bản sao thuyết phục chỉ từ vài giây âm thanh, khiến công nghệ này hữu ích cho khả năng tiếp cận và sản xuất truyền thông, đồng thời cũng hữu ích cho kẻ lừa đảo.

Cách tạo bản sao giọng nói#

Hầu hết hệ thống nhân bản mở rộng chuyển văn bản thành giọng nói (TTS) bằng một biểu diễn danh tính người nói. Bộ mã hóa người nói, được huấn luyện trên hàng nghìn giọng nói, nén bản ghi tham chiếu thành vector có độ dài cố định gọi là embedding người nói. Hệ thống SV2TTS năm 2018 của Google huấn luyện bộ mã hóa để xác minh người nói, tức xác định hai bản ghi có phải của cùng một người hay không, và chỉ cần vài giây âm thanh của người nói chưa từng gặp. Model TTS nhận văn bản cùng embedding rồi dự đoán biểu diễn âm học như phổ mel; bộ vocoder thần kinh chuyển biểu diễn đó thành dạng sóng âm thanh.

Hệ thống nhân bản giọng nói theo hai cách chính:

• Nhân bản zero-shot: Đưa clip tham chiếu ngắn, thường dài từ 3 đến 30 giây, vào model được huấn luyện trên nhiều người nói. Không cần huấn luyện lại nên có thể sử dụng giọng mới ngay lập tức, dù giọng vùng miền rõ và cách thể hiện cảm xúc được chuyển đổi kém ổn định hơn.
• Nhân bản fine-tune: Điều chỉnh trọng số của model bằng vài phút đến vài giờ bản ghi sạch của một người nói. Phương pháp này cần nhiều dữ liệu và năng lực tính toán hơn nhưng tạo ra bản sao gần với giọng gốc và ổn định hơn; đó là lý do giọng đọc chuyên nghiệp thường được tạo theo cách này.

Các hệ thống mới hơn xử lý lời nói như ngôn ngữ. Codec âm thanh thần kinh nén âm thanh thành các token rời rạc bằng lượng tử hóa vector dư; một model ngôn ngữ transformer tạo ra các token đó. VALL-E của Microsoft (tháng 1 năm 2023), được huấn luyện trên 60.000 giờ tiếng Anh, tiếp nối một prompt dài ba giây bằng cùng giọng nói, cảm xúc và âm học của căn phòng; Microsoft không phát hành công khai model vì nguy cơ bị lạm dụng. OpenAI cũng chọn cách tiếp cận tương tự với Voice Engine, được giới thiệu vào tháng 3 năm 2024 với khả năng nhân bản giọng từ mẫu 15 giây. Trong mọi phương pháp, tiếng ồn, hiện tượng cắt âm và tiếng vang trong phòng của bản tham chiếu đều xuất hiện trong bản sao.

Nhân bản giọng nói, chuyển văn bản thành giọng nói và chuyển đổi giọng nói#

TTS thông thường đọc bằng một tập hợp giọng nói được thiết kế hoặc cấp phép cố định, còn nhân bản giọng nói bổ sung khả năng nhắm đến một người cụ thể. Chuyển đổi giọng nói là phương pháp gần gũi, nhận lời nói đã ghi âm làm đầu vào và thay đổi danh tính người nói trong khi giữ nguyên từ ngữ, thời gian và cảm xúc của phần trình diễn gốc. Chuyển lời nói thành văn bản hoạt động theo chiều ngược lại, chuyển âm thanh thành văn bản. Lồng tiếng tự động kết hợp cả ba bước: chép lời thoại gốc, dịch, rồi đọc bản dịch bằng giọng nói nhân bản của diễn viên.

Giọng nói được nhân bản để khiến ai đó có vẻ như đã nói điều họ chưa từng nói là một deepfake âm thanh.

Lưu trữ giọng nói, lồng tiếng và lời thoại trong game#

• Lưu trữ giọng nói với Personal Voice của Apple: Những người được chẩn đoán mắc ALS hoặc sắp phẫu thuật họng sẽ ghi âm một tập hợp cụm từ ngắn khi còn có thể; iPhone tạo phiên bản tổng hợp giọng nói của họ ngay trên thiết bị để đọc các tin nhắn họ nhập.
• Lồng tiếng và thuyết minh: Các studio và nhà xuất bản sách nói sử dụng bản sao được cấp phép để bản địa hóa nội dung sang ngôn ngữ khác bằng chính giọng của người nói gốc, đồng thời ghi lại các câu đã chỉnh sửa mà không cần mời người thuyết minh quay lại phòng thu.
• Trò chơi và trợ lý ảo: Nhà phát triển tạo lượng lớn lời thoại nhân vật bằng một giọng nói nhất quán, với các diễn viên lồng tiếng cấp phép bản sao giọng nói của mình theo hợp đồng.

Gian lận, sự đồng thuận và phát hiện#

Tội phạm sao chép giọng nói từ các đoạn clip trên mạng xã hội, sau đó gọi cho người thân hoặc nhân viên để khẩn cấp yêu cầu chuyển tiền; cách phòng vệ đáng tin cậy trước lừa đảo giả mạo tình huống khẩn cấp là cúp máy rồi gọi lại cho người đó bằng số điện thoại đã biết. Tháng 1 năm 2024, các cuộc gọi tự động dùng giọng nói sao chép của Tổng thống Biden đã bảo cử tri New Hampshire bỏ qua cuộc bầu cử sơ bộ của bang; đến tháng 2 năm 2024, Ủy ban Truyền thông Liên bang Hoa Kỳ phán quyết rằng giọng nói do AI tạo ra được xem là “nhân tạo” theo Đạo luật Bảo vệ Người tiêu dùng qua Điện thoại, khiến các cuộc gọi tự động như vậy là bất hợp pháp nếu không có sự đồng ý trước. Các nền tảng giọng nói có trách nhiệm yêu cầu chủ sở hữu giọng nói ghi âm sự đồng ý, hạn chế sao chép giọng nói của nhân vật công chúng và nhúng watermark AI không nghe được vào âm thanh được tạo để có thể nhận diện sau này. Thông tin xác thực nội dung C2PA bổ sung bản ghi có chữ ký về cách một tệp phương tiện được tạo và chỉnh sửa.

Phương pháp phát hiện kết hợp bằng chứng âm thanh và hình ảnh. Bộ phân loại âm thanh tìm các tạo tác phổ do vocoder để lại; chuỗi thử thách ASVspoof, được tổ chức từ năm 2015, đánh giá chúng dựa trên các cuộc tấn công sao chép và chuyển đổi mới. Kiểm tra video đối chiếu chuyển động môi với nhạc nền để phát hiện giọng nói bị sao chép rồi lồng lên cảnh quay thật, vì miệng khép lại khi phát âm “b”, “m” và “p” phải khớp với âm thanh tại đúng thời điểm. Các bước kiểm tra này bắt đầu bằng việc phát hiện và theo dõi khuôn mặt người nói trong từng khung hình; tác vụ này được bộ phát hiện khuôn mặt huấn luyện bằng Ultralytics YOLO26 thực hiện theo thời gian thực trong chế độ tracking, chế độ này gán cho mỗi khuôn mặt một ID cố định để model đồng bộ môi nhận được một chuỗi liên tục các ảnh cắt vùng miệng cho từng người nói.