AI Dubbing

Lồng tiếng bằng AI là việc sử dụng trí tuệ nhân tạo để tạo lời nói thay thế cho âm thanh hoặc video đã ghi, thường bằng một ngôn ngữ khác, đồng thời căn chỉnh lời nói với nội dung gốc. Phương pháp này kết hợp phiên âm, dịch thuật và tạo giọng nói để người xem có thể nghe lời thoại bằng ngôn ngữ họ chọn, đồng thời theo dõi cùng các cảnh quay và lượt thoại của từng người.

Thường được gọi là lồng tiếng tự động hoặc tự động lồng tiếng, phương pháp này sử dụng AI tạo sinh để tạo lời nói với thời điểm và cách diễn đạt được kiểm soát. Các hệ thống có thể giữ lại đặc điểm giọng nói riêng của từng người, đồng thời bảo toàn nhạc nền, hiệu ứng âm thanh và âm thanh môi trường gốc, như được hỗ trợ bởi tính năng lồng tiếng của ElevenLabs.

Cách thức hoạt động của lồng tiếng bằng AI#

Quy trình thông thường bắt đầu bằng chuyển giọng nói thành văn bản, công nghệ này phiên âm lời thoại thành văn bản có dấu thời gian. Phân tách người nói đánh dấu thời điểm từng người nói. Dịch máy chuyển bản phiên âm sang ngôn ngữ đích, còn chuyển văn bản thành giọng nói tạo lời thoại thay thế. Điều chỉnh thời gian căn chỉnh từng câu thoại với khoảng thời gian được phân bổ trước khi trộn giọng nói mới vào nhạc nền được giữ lại. Các thành phần này được kết hợp trong quy trình bản địa hóa nội dung đa phương tiện của AWS.

Bản dịch phải giữ nguyên ý nghĩa đồng thời phù hợp với thời lượng nói có sẵn. Isochrony mô tả việc khớp thời lượng này: câu thoại đã dịch chiếm khoảng thời gian tương đương với câu gốc. Bản dịch có kiểm soát độ dài, rút gọn câu và điều chỉnh tốc độ nói giúp đáp ứng yêu cầu đó. Quy trình bản địa hóa của MagellanTV kết hợp từ điển thuật ngữ, điều chỉnh thành ngữ, biên tập của con người và rút gọn câu để chuẩn bị lời thuyết minh phim tài liệu đã dịch.

Lồng tiếng hình ảnh bổ sung thị giác máy tính để điều chỉnh chuyển động miệng khớp với âm thanh thay thế. Trong quy trình kết hợp dịch thuật và đồng bộ khẩu hình, lồng tiếng tạo bản âm thanh, còn một model đồng bộ khẩu hình riêng cập nhật video.

Để tiền xử lý hình ảnh, bộ phát hiện khuôn mặt tùy chỉnh được xây dựng bằng YOLO26 của Ultralytics có thể sử dụng chế độ tracking để gán ID cố định cho các khuôn mặt được phát hiện qua từng khung hình, sắp xếp các chuỗi khuôn mặt liên tục để xử lý đồng bộ khẩu hình ở bước tiếp theo.

Lồng tiếng bằng AI và các khái niệm liên quan#

Một số thuật ngữ gần nghĩa mô tả các thành phần hoặc đầu ra thay thế:

• Nhân bản giọng nói: Tạo giọng nói giống với một người cụ thể. Lồng tiếng có thể sử dụng giọng nói được nhân bản hoặc giọng nói tổng hợp được chọn.
• Nhận dạng giọng nói: Chuyển lời nói thành văn bản; nhận dạng giọng nói tự động, ASR và chuyển giọng nói thành văn bản là các thuật ngữ đồng nghĩa.
• Chỉnh sửa video bằng AI: Bao gồm các thay đổi tự động rộng hơn đối với video, như lồng tiếng hình ảnh, điều chỉnh khung hình và chỉnh sửa cảnh.

Chuyển đổi giọng nói thay đổi đặc điểm giọng của một màn trình diễn có sẵn nhưng vẫn giữ nguyên lời thoại và cách thể hiện. Phụ đề hiển thị văn bản đã dịch trên màn hình. Lồng tiếng bằng AI tạo lời thoại nói thay thế, trong đó phiên âm và tổng hợp giọng nói là các giai đoạn riêng biệt của quy trình.

Ứng dụng và phát lại#

Bản địa hóa phim tài liệu là một ứng dụng thực tiễn: MagellanTV sử dụng quy trình được phát triển cùng Mission Cloud và AWS để dịch phụ đề, rà soát ngôn ngữ đã điều chỉnh và tổng hợp lời thuyết minh. Hỗ trợ thuật ngữ tùy chỉnh giúp duy trì tính nhất quán của từ vựng chuyên ngành, trong khi xử lý thành ngữ giúp bảo toàn ý nghĩa dự định ở các ngôn ngữ khác nhau.

Bản địa hóa video giáo dục cũng sử dụng các thành phần này. Video của Khan Academy đã được dịch thông qua quy trình kết hợp dịch máy, tổng hợp giọng nói và đồng bộ âm thanh-video, giúp cung cấp các bài học hiện có dưới dạng nội dung lời nói bằng nhiều ngôn ngữ hơn.

Trên YouTube, các bản âm thanh ngôn ngữ được tạo tự động cho phép người xem chuyển đổi giữa âm thanh gốc và âm thanh lồng tiếng. Người xem chọn ngôn ngữ gốc trong phần điều khiển bản âm thanh của trình phát; nhà sáng tạo quản lý chế độ lồng tiếng tự động và cài đặt xuất bản trong YouTube Studio. Hệ thống này cũng bộc lộ các vấn đề chất lượng dễ nhận biết: tiếng ồn nền và giọng vùng miền có thể làm gián đoạn quá trình phiên âm, còn danh từ riêng, thành ngữ và thuật ngữ chuyên ngành có thể dẫn đến lỗi dịch hoặc phát âm.

Chất lượng, sự đồng thuận và đồng bộ#

Chất lượng lồng tiếng có nhiều khía cạnh: độ chính xác của bản dịch, độ rõ lời, tính nhất quán của giọng người nói, cách thể hiện giàu cảm xúc và khả năng đồng bộ. Ngữ điệu—nhịp điệu, trọng âm, cao độ và khoảng ngắt trong lời nói—giúp giữ nguyên điểm nhấn và cảm xúc. Bản dịch trôi chảy nhưng đặt sai trọng âm sẽ làm thay đổi cách người nghe cảm nhận ý định của người nói.

An toàn liên quan đến cả quyền riêng tư dữ liệu lẫn quyền kiểm soát đặc điểm giọng nói. Bản ghi âm và model giọng nói chứa thông tin về những người có thể nhận dạng; sự đồng thuận xác lập quyền cho phép tái tạo giọng nói của họ. Việc nhân bản trái phép cũng tạo điều kiện cho deepfake âm thanh. Trong các vụ lừa đảo giả mạo bằng cách nhân bản giọng nói, tội phạm sử dụng giọng nói nghe quen thuộc để khiến các yêu cầu khẩn cấp gian lận trở nên đáng tin.

Trong lồng tiếng hình ảnh, đồng bộ không chỉ giới hạn ở thời lượng câu mà còn xuống đến từng âm thanh lời nói. Các hệ thống đồng bộ khẩu hình phối hợp hình dạng miệng nhìn thấy được với âm thanh đã tạo; các phụ âm "b", "p" và "m" đòi hỏi môi phải khép lại rõ ràng.