4D Gaussian Splatting

Gaussian Splatting 4D là kỹ thuật dựng hình tiên tiến trong thị giác máy tính và deep learning, mở rộng các nguyên tắc biểu diễn cảnh 3D tường minh bằng cách bổ sung chiều thời gian. Trong khi mô hình hóa 3D truyền thống ghi lại các môi trường tĩnh, Gaussian Splatting 4D cho phép dựng hình chân thực như ảnh chụp theo thời gian thực đối với các cảnh động đang chuyển động. Bằng cách mô hình hóa cách đối tượng và môi trường biến dạng, dịch chuyển theo thời gian, công nghệ này thu hẹp khoảng cách giữa hình ảnh tĩnh và tổng hợp video sống động như thật, đồng thời mang lại độ trung thực thị giác chưa từng có ở tốc độ khung hình cao.

Phân biệt với các kỹ thuật dựng hình liên quan#

Để hiểu khái niệm này, nên so sánh khái niệm với các phương pháp tổng hợp góc nhìn mới có liên quan chặt chẽ. Gaussian Splatting 3D tiêu chuẩn biểu diễn một cảnh bằng hàng triệu phân phối tĩnh có dạng ellipsoid. Biến thể 4D bổ sung các thuộc tính phụ thuộc thời gian, cho phép các ellipsoid di chuyển, xoay và thay đổi tỷ lệ qua nhiều khung hình.

Hơn nữa, không giống Trường bức xạ thần kinh (NeRF), vốn dựa vào mạng nơ-ron sâu để tính toán ngầm ánh sáng và màu sắc cho từng pixel, Gaussian Splatting 4D tính toán tường minh vị trí của các điểm trong không gian và thời gian. Rasterization tường minh này giảm đáng kể chi phí tính toán vốn thường gắn với kết xuất đồ họa máy tính, cho phép kết xuất cảnh động nhanh hơn đáng kể.

Cách Gaussian Splatting 4D hoạt động#

Kiến trúc dựa vào các hàm toán học liên tục để theo dõi trạng thái của từng Gaussian tại mọi mốc thời gian. Trong quá trình tối ưu hóa, thuật toán machine learning cập nhật tọa độ không gian (X, Y, Z) và giá trị màu cùng với trường biến dạng thời gian. Nhà nghiên cứu thường xây dựng các model này bằng framework như PyTorch hoặc TensorFlow, vốn xử lý lan truyền ngược cần thiết để huấn luyện các tham số thời gian.

Hệ thống giảm thiểu chênh lệch giữa đầu ra được dựng hình và chuỗi video ground truth. Các đột phá gần đây được công bố trên kho lưu trữ học thuật như arXiv và Thư viện số ACM cho thấy việc tách nền tĩnh khỏi các thành phần tiền cảnh động giúp cải thiện đáng kể độ ổn định khi huấn luyện.

Ứng dụng AI và ML trong thực tế#

• Thực tế ảo nhập vai (VR): Gaussian Splatting 4D được sử dụng rộng rãi để ghi lại các màn trình diễn động của con người cho VR và thực tế tăng cường. Thay vì dựa vào bộ đồ motion capture cồng kềnh, nhà sáng tạo có thể ghi hình một diễn viên từ nhiều góc độ và tạo video màn trình diễn có thể điều hướng hoàn toàn với góc nhìn tự do.
• Xe tự hành và robot: Xe tự lái cần hiểu rõ môi trường xung quanh. Bằng cách tái tạo các cảnh đường phố động—bao gồm người đi bộ và phương tiện đang di chuyển—kỹ sư có thể tạo các mô phỏng cực kỳ chân thực để kiểm thử an toàn model điều hướng tự chủ trước khi triển khai trong thế giới thực.

Chuẩn bị dữ liệu cho tái tạo 4D#

Một bước quan trọng để tạo cảnh 4D chất lượng cao là tách đối tượng chuyển động khỏi nền tĩnh. Nhà phát triển thường dùng theo dõi đối tượng và phân đoạn từng instance để tạo mask động trước khi bắt đầu quá trình splatting.

Bạn có thể theo dõi các đối tượng chuyển động trong video và tạo mask cho từng khung hình bằng model phân đoạn Ultralytics YOLO26. Đoạn mã sau minh họa bước tiền xử lý này:

from ultralytics import YOLO

# Tải model phân đoạn instance YOLO26
model = YOLO("yolo26n-seg.pt")

# Theo dõi các đối tượng chuyển động trong video cảnh động, tạo mask cho từng đối tượng ở mỗi khung hình
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

Các nhóm có thể tải video và chú thích đã ghi lại lên Ultralytics Platform để quản lý dataset và huấn luyện model tùy chỉnh. Tiếp đó, áp dụng mẹo huấn luyện model sẽ cải thiện khả năng phân tách rõ ràng các thành phần động khỏi nền tĩnh của mask đầu ra trước khi tạo cảnh 4D.