AI Video Editing

Chỉnh sửa video bằng AI là việc sử dụng học máy để tự động hóa hoặc hỗ trợ cắt, sắp xếp và chỉnh sửa cảnh quay đã ghi. Model chép lại lời thoại, tìm ranh giới cảnh quay, theo dõi chủ thể trong cảnh, tách chủ thể khỏi nền và tạo các pixel thay thế; nhờ đó, công việc từng tốn hàng giờ xử lý từng khung hình—chẳng hạn thêm phụ đề cho cuộc phỏng vấn hoặc điều chỉnh video phong cảnh cho màn hình điện thoại—nay chỉ mất vài phút. Thuật ngữ này bao gồm cả tính năng hỗ trợ trong phần mềm chỉnh sửa truyền thống lẫn công cụ tự động hoàn toàn chuyển bản ghi thô thành clip hoàn chỉnh.

AI xử lý những gì trong quá trình dựng video#

Các phần mềm dựng video như Adobe Premiere Pro, DaVinci Resolve và Descript, trình chỉnh sửa ưu tiên bản chép lời, tích hợp nhiều tính năng trong số này:

• Chỉnh sửa bằng chuyển giọng nói thành văn bản: Bản chép lời được đồng bộ với dòng thời gian cho phép biên tập viên xóa một câu trong văn bản để loại bỏ đoạn cảnh quay tương ứng.
• Phụ đề: Cùng bản chép lời đó trở thành bản nháp phụ đề để biên tập viên kiểm tra độ chính xác của câu chữ, nhận diện người nói và căn thời gian.
• Phát hiện cảnh: Các model tìm điểm cắt trong bản ghi dài hoặc file đã dựng trước đó rồi chia thành từng shot riêng.
• Tự động đổi khung hình: Tính năng tracking giữ đối tượng chính bên trong khung cắt dọc hoặc vuông khi đối tượng di chuyển, biến một video gốc màn hình rộng thành các phiên bản dành cho nền tảng mạng xã hội.
• Tạo mask và xóa đối tượng: Phân đoạn tách riêng một người hoặc đối tượng để có thể chỉnh màu riêng hoặc xóa đi; kỹ thuật inpainting lấp đầy khoảng trống một cách nhất quán qua các khung hình.
• Tạo đoạn nổi bật bằng nhận diện hành động: Model phát hiện bàn thắng, cú úp rổ và các tình huống quan trọng khác; đài truyền hình thể thao dùng tính năng này để dựng video tổng hợp trong vài phút sau khi trận đấu diễn ra.
• Tạo chuyển động chậm bằng nội suy khung hình: Model tổng hợp các khung hình trung gian để có thể làm chậm cảnh quay ở tốc độ bình thường mà không bị giật.
• Làm sạch âm thanh: Các model tăng cường giọng nói loại bỏ tiếng ồn nền và tiếng vang trong phòng khỏi lời thoại được ghi trong điều kiện không lý tưởng.
• Biên tập để bảo vệ quyền riêng tư dữ liệu: Khuôn mặt, người hoặc biển số xe được phát hiện và làm mờ trước khi chia sẻ cảnh quay.

Các model thị giác đứng sau những tính năng này#

Hầu hết tính năng chỉnh sửa hình ảnh kết hợp ba tác vụ thị giác máy tính. Phát hiện đối tượng tìm từng chủ thể trong một khung hình và vẽ bounding box quanh chủ thể đó. Theo dõi đối tượng liên kết các kết quả phát hiện qua nhiều khung hình bằng ID ổn định; nhờ vậy, thao tác điều chỉnh khung hình hoặc làm mờ vẫn bám theo đúng người khi họ di chuyển qua cảnh quay. Khi hiệu ứng cần đường viền chính xác của chủ thể, phân đoạn thực thể cung cấp mask ở cấp pixel cho từng đối tượng. Cả ba đều là model hiểu video, mô tả cảnh quay mà không thay đổi cảnh; tính năng chỉnh sửa chạy các model này trước để quyết định nội dung cần thay đổi.

Các model tạo sinh xử lý phần còn lại. Model inpainting xóa đối tượng không mong muốn; model tạo video thay đổi phong cách cảnh quay, kéo dài thêm vài giây hoặc tạo cảnh quay chưa từng tồn tại. Các thao tác chỉnh sửa tự động thường lỗi ở những tình huống dễ đoán: chuyển động nhanh và nhòe chuyển động, các chủ thể đi ngang qua nhau, chuyển cảnh khi một track cần kết thúc, và chủ thể nhỏ hoặc chỉ nhìn thấy một phần. Vì các kỹ thuật tương tự có thể thay đổi nội dung mà bản ghi dường như thể hiện, chúng cũng tạo ra deepfake; nhà phát hành có thể đính kèm Thông tin xác thực nội dung để ghi lại những công cụ đã chỉnh sửa tệp.

Tự động hóa việc che thông tin#

Che thông tin là một trong những thao tác chỉnh sửa đơn giản nhất có thể tự động hóa cho các nhóm xuất bản cảnh quay sự kiện, đường phố hoặc nơi làm việc. Giải pháp làm mờ đối tượng của Ultralytics chạy detector YOLO26 kèm theo tracking trên từng khung hình và làm mờ từng bounding box thuộc các lớp đã chọn; lớp 0 trong model được huấn luyện trước trên COCO là “person”:

import cv2
from ultralytics import solutions

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov")
w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
writer = cv2.VideoWriter("blurred.mp4", cv2.VideoWriter_fourcc(*"mp4v"), fps, (w, h))

# # Phát hiện người (class COCO 0) bằng YOLO26 và làm mờ mọi hộp trong từng frame
blurrer = solutions.ObjectBlurrer(model="yolo26n.pt", classes=[0])
while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break
    results = blurrer(frame)
    writer.write(results.plot_im)

cap.release()
writer.release()

Đầu ra blurred.mp4 cho thấy mọi người được phát hiện đều bị làm mờ và được viền bằng bounding box có nhãn để xem xét; blur_ratio (mặc định 0.5) thiết lập mức độ làm mờ. OpenCV chỉ ghi các khung hình video, nên phải thêm lại âm thanh gốc bằng trình chỉnh sửa hoặc FFmpeg. Người bị cắt khỏi mép khung hình hoặc xuất hiện ở góc bất thường là những đối tượng dễ bị bỏ sót nhất; mỗi khung hình bỏ sót một người sẽ để người đó không bị làm mờ trong đầu ra.