Temporal Consistency

Tính nhất quán theo thời gian là mức độ thống nhất giữa các đầu ra của hệ thống AI theo thời gian khi cảnh nền thay đổi. Trong video, điều này có nghĩa là các đối tượng duy trì danh tính, diện mạo và thuộc tính được dự đoán nhất quán giữa các khung hình, đồng thời chuyển động vẫn phản ánh chính xác cảnh quay. Một chuỗi nhất quán theo thời gian duy trì cả tính liên tục lẫn những thay đổi thực sự. Thuật ngữ tính kết hợp theo thời gian thường được dùng như từ đồng nghĩa trong thị giác máy tính.

Ngoài lĩnh vực AI, tính nhất quán theo thời gian còn mô tả sự thống nhất giữa các bản ghi cơ sở dữ liệu phụ thuộc vào thời gian hoặc độ ổn định của các phép đo tâm lý lặp lại.

Cách thức hoạt động của tính nhất quán theo thời gian#

Một khung hình video ghi lại một thời điểm; các khung hình lân cận cung cấp bằng chứng về diễn biến của cùng một cảnh. Xử lý từng khung hình độc lập có thể tạo ra màu sắc nhấp nháy, ước tính độ sâu không ổn định hoặc đường biên phân đoạn thay đổi. Tác phẩm Blind Video Temporal Consistency của Nicolas Bonneel và cộng sự, xuất bản năm 2015, ổn định video đã qua xử lý bằng thông tin theo thời gian từ chuỗi gốc, bao gồm các ứng dụng tăng cường, cách điệu và dự đoán độ sâu.

Thiết lập sự tương ứng — xác định những vị trí nào đại diện cho cùng một nội dung trong cảnh — là yếu tố cốt lõi để đảm bảo tính nhất quán. Luồng quang học ước tính chuyển động của pixel giữa các khung hình. Phép biến đổi hình học dịch chuyển dự đoán trước đó sang hệ tọa độ của khung hình hiện tại, cho phép so sánh tại các vị trí tương ứng. Mặt nạ che khuất xác định những vùng bị bề mặt khác che khuất, nơi không thể xác lập sự tương ứng trực tiếp. Manuel Ruder, Alexey Dosovitskiy và Thomas Brox đã kết hợp các cơ chế này với những ràng buộc ngắn hạn và dài hạn trong phương pháp chuyển kiểu video năm 2016.

Tính nhất quán không gian liên quan đến các mối quan hệ trong một khung hình. Tính nhất quán theo thời gian liên quan đến các mối quan hệ giữa các khung hình. Duy trì danh tính là một thành phần trong đó: một đối tượng có thể giữ nguyên danh tính nhưng kết cấu vẫn nhấp nháy.

Hàm mất mát nhất quán theo thời gian và quá trình huấn luyện#

Hàm mất mát nhất quán theo thời gian phạt sự khác biệt giữa các dự đoán tương ứng tại những thời điểm khác nhau. Hàm này đóng vai trò điều chuẩn hóa, khuyến khích model duy trì thông tin được các khung hình lân cận hỗ trợ. Trong cách điệu video, hàm mất mát bình phương sai số có căn chỉnh chuyển động so sánh các pixel tương ứng nhìn thấy được, bên cạnh các mục tiêu duy trì nội dung và phong cách nghệ thuật. Việc so sánh dài hạn giúp duy trì diện mạo khi các vùng từng bị che khuất xuất hiện trở lại.

Với các giá trị pixel đã được căn chỉnh, thành phần bình phương sai số có thể được biểu diễn bằng phép toán sai số bình phương trung bình của PyTorch:

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

Đầu ra là 0.0100: mức chênh lệch bình phương trung bình trên ba cặp tương ứng nhìn thấy được. Vị trí bị che khuất không đóng góp vào hàm mất mát.

Các cơ chế khác duy trì thông tin thông qua mạng nơ-ron hồi quy hoặc lan truyền thông tin qua attention theo thời gian. Các phương pháp này mang ngữ cảnh qua các khung hình trong quá trình xử lý, như trong mạng hồi quy cho tính nhất quán theo thời gian của video mù năm 2018 của Wei-Sheng Lai và cộng sự.

Ứng dụng trong AI video#

Tính nhất quán theo thời gian ảnh hưởng đến cả việc diễn giải video lẫn tổng hợp hình ảnh:

• Chỉnh sửa video: Chuyển kiểu bằng mạng nơ-ron độc lập theo từng khung hình tạo ra kết cấu thay đổi, gây hiện tượng nhấp nháy khi phát lại. Các ràng buộc được dẫn hướng bằng chuyển động giúp ổn định diện mạo đã cách điệu khi đối tượng di chuyển.
• Phân đoạn video: Mặt nạ nhất quán bám theo đường biên của đối tượng theo thời gian. Bộ benchmark DAVIS cung cấp các chuỗi video được gán nhãn dày đặc để đánh giá khả năng phân đoạn khi có chuyển động và che khuất.
• Tạo video: Tính kết hợp theo thời gian bao gồm chủ thể và hậu cảnh ổn định, giảm hiện tượng nhấp nháy và chuyển động mượt mà. Các thuộc tính này được đánh giá riêng trong VBench.

Trong theo dõi nhiều đối tượng, tính nhất quán tập trung vào việc liên kết các đối tượng được phát hiện với danh tính bền vững. Chế độ theo dõi của Ultralytics YOLO áp dụng các bộ theo dõi như ByteTrack để liên kết các đối tượng được YOLO26 phát hiện giữa các khung hình; giai đoạn liên kết thứ hai sử dụng các đối tượng được phát hiện với độ tin cậy thấp hơn để khôi phục các track qua những vùng bị che khuất một phần.

Đo lường tính nhất quán theo thời gian#

Việc đánh giá phụ thuộc vào loại đầu ra. Với video đã qua xử lý, sai số biến đổi hình học có bù chuyển động đo mức chênh lệch giữa các đầu ra đã căn chỉnh; sai số thấp hơn cho thấy mức độ nhất quán cục bộ cao hơn. Với tác vụ theo dõi, số lần đổi danh tính đếm số lần ID được gán cho một đối tượng thay đổi. HOTA kết hợp độ chính xác phát hiện và liên kết, đồng thời đánh giá các liên kết danh tính trên toàn bộ chuỗi.

Đánh giá video được tạo tách biệt độ ổn định diện mạo khỏi chuyển động. VBench đo tính nhất quán của chủ thể, tính nhất quán của hậu cảnh, hiện tượng nhấp nháy theo thời gian, độ mượt chuyển động và mức độ chuyển động. Đo chuyển động cùng với độ ổn định giúp phân biệt chuyển động nhất quán với một chuỗi gần như tĩnh: điểm độ mượt chuyển động sử dụng model nội suy khung hình, còn mức độ chuyển động sử dụng luồng quang học để ước tính lượng chuyển động diễn ra.