Frame Interpolation

Nội suy khung hình là một kỹ thuật thị giác máy tính và xử lý video, tổng hợp các khung hình trung gian mới giữa những khung hình hiện có để tăng tốc độ khung hình của video và tạo chuyển động mượt mà hơn. Trước đây, kỹ thuật này chủ yếu dựa vào việc trộn ảnh cơ bản, còn nội suy khung hình hiện đại sử dụng các model học sâu (DL) tiên tiến để phân tích chuyển động và nội dung của các khung hình liền kề, dự đoán những chuyển động pixel phức tạp nhằm tạo ra các hình ảnh liên tục, chất lượng cao. Phương pháp dựa trên AI này được áp dụng rộng rãi để chuyển đổi cảnh quay tiêu chuẩn thành nội dung có tốc độ làm mới cao, tổng hợp hiệu ứng chuyển động chậm và ổn định các chuỗi chuyển động nhanh trong nhiều lĩnh vực đa phương tiện và khoa học.

Cách thức hoạt động của nội suy khung hình được hỗ trợ bởi AI#

Các framework nội suy hiện đại không còn dựa trên việc lấy trung bình khung hình đơn giản. Thay vào đó, chúng dựa vào các mạng neural (NNs) phức tạp và các chiến lược ước lượng chuyển động tinh vi để lấp đầy khoảng trống giữa các đầu vào tuần tự:

• Nội suy dựa trên Optical Flow: Phương pháp này tính toán chuyển động biểu kiến của các pixel giữa các khung hình. Các model sử dụng Optical Flow ước tính này để biến dạng và trộn các ảnh đầu vào. Mặc dù nhanh, phương pháp này có thể gặp khó khăn khi bị che khuất nghiêm trọng hoặc có chuyển động nhanh.
• Kiến trúc tích chập và Transformer: Các mạng nơ-ron tích chập (CNNs) sâu và các model Transformer mới hơn học các mối quan hệ không gian và thời gian phong phú. Chúng xử lý hiện tượng che khuất và chuyển động nhanh bằng cách dự đoán các đặc trưng theo ngữ cảnh trên một trường tiếp nhận rộng hơn.
• Các phương pháp sinh: Những đột phá gần đây sử dụng diffusion model để tạo các khung hình trung gian. Các model này cho phép tổng hợp ảnh chân thực về mặt cảm nhận ngay cả khi các khung hình đầu vào có khoảng cách chuyển động đáng kể, đồng thời điều chỉnh các kỹ thuật như Nội suy khung hình video dựa trên sự kiện (EVFI) để tái tạo chuyển động tốc độ cao bằng dữ liệu cảm biến thưa.

Phân biệt các khái niệm liên quan#

Để triển khai hiệu quả các pipeline nâng cao video, việc phân biệt nội suy khung hình với các kỹ thuật trí tuệ nhân tạo (AI) liên quan là rất quan trọng:

• Nội suy khung hình so với Optical Flow: Optical Flow là một metric cấp thấp đo hướng và tốc độ chuyển động của pixel. Nội suy khung hình là một tác vụ cấp cao hơn, thường sử dụng Optical Flow làm công cụ nền tảng để biến dạng pixel và tạo ra các khung hình ảnh hoàn toàn mới.
• Nội suy khung hình so với Super-Resolution: Nội suy làm tăng độ phân giải theo thời gian bằng cách bổ sung thêm số khung hình mỗi giây (ví dụ: lấy mẫu tăng theo thời gian từ 30 FPS lên 60 FPS). Ngược lại, Super-Resolution làm tăng độ phân giải không gian bằng cách phóng đại kích thước pixel của từng khung hình (ví dụ: từ 1080p lên 4K).

Các ứng dụng thực tế chính#

Nội suy khung hình giải quyết các thách thức quan trọng trong nhiều ngành bằng cách lấp đầy khoảng trống trong dữ liệu hình ảnh:

1. Phát sóng truyền thông và thể thao: Các nhà sáng tạo sử dụng những công cụ như FILM (Nội suy khung hình cho chuyển động lớn) của Google để tạo các chuỗi chuyển động chậm cực kỳ mượt mà từ camera tiêu chuẩn. Công nghệ này nâng cao khả năng phân tích thể thao và các hiệu ứng điện ảnh mà không cần phần cứng tốc độ cao đắt tiền.

2. Chụp ảnh y sinh và y tế: Trong kính hiển vi tua nhanh thời gian, nội suy khung hình sinh cải thiện việc theo dõi các đối tượng sinh học, chẳng hạn như tế bào đang phân chia hoặc vi khuẩn đang di chuyển. Bằng cách tổng hợp các trạng thái trung gian, các nhà nghiên cứu có thể giảm tần suất chụp ảnh thực tế, qua đó hạn chế độc tính quang học và bảo vệ các mẫu vật nhạy cảm.

Cải thiện workflow AI bằng video nội suy#

Trong machine learning, việc sử dụng video có tốc độ khung hình cao cải thiện đáng kể độ chính xác của theo dõi đối tượng ở các bước downstream bằng cách cung cấp các chuyển tiếp theo thời gian mượt mà hơn và giảm hiện tượng nhảy của bounding box. Sau khi video được làm mượt bằng nội suy, các model như Ultralytics YOLO26 có thể dễ dàng theo dõi các đối tượng qua những khung hình được tổng hợp.

Đoạn mã Python sau đây minh họa cách theo dõi đối tượng trong video đã nội suy với FPS cao bằng package ultralytics:

from ultralytics import YOLO

# Load the latest state-of-the-art YOLO26 model
model = YOLO("yolo26n.pt")

# Run persistent object tracking on the temporally up-sampled video
# The tracker uses the smooth motion to preserve object IDs more accurately
results = model.track(source="interpolated_high_fps_video.mp4", show=True, tracker="botsort.yaml")

Đối với việc xử lý video quy mô lớn, các nhóm có thể sử dụng Ultralytics Platform để tự động hóa chú thích dữ liệu trên các dataset đã nội suy, cho phép training trên cloud liền mạch và triển khai model mạnh mẽ cho các pipeline tìm hiểu video phức tạp.