4D Gaussian Splatting

4D Gaussian Splatting là một kỹ thuật render tiên tiến trong computer vision và deep learning, mở rộng các nguyên lý biểu diễn cảnh 3D tường minh bằng cách bổ sung chiều thời gian (time). Trong khi mô hình 3D truyền thống nắm bắt các môi trường tĩnh, 4D Gaussian Splatting cho phép render ảnh thực tế theo thời gian thực cho các cảnh động và chuyển động. Bằng cách mô hình hóa cách các đối tượng và môi trường biến dạng và dịch chuyển theo thời gian, công nghệ này thu hẹp khoảng cách giữa hình ảnh tĩnh và tổng hợp video sống động, mang lại độ trung thực hình ảnh chưa từng có ở tốc độ khung hình cao.

Link to this sectionPhân biệt với các kỹ thuật render liên quan#

Để hiểu khái niệm này, việc so sánh nó với các phương pháp novel view synthesis có liên quan chặt chẽ sẽ rất hữu ích. 3D Gaussian Splatting tiêu chuẩn biểu diễn một cảnh bằng cách sử dụng hàng triệu phân phối hình elip tĩnh. Biến thể 4D bổ sung các thuộc tính phụ thuộc vào thời gian, cho phép các hình elip này di chuyển, xoay và thay đổi tỷ lệ qua nhiều khung hình.

Hơn nữa, không giống như Neural Radiance Fields (NeRF), vốn dựa vào các mạng neural sâu để tính toán ẩn ánh sáng và màu sắc cho từng pixel, 4D Gaussian Splatting tính toán tường minh vị trí của các điểm trong không gian và thời gian. Quá trình rasterization tường minh này làm giảm đáng kể chi phí tính toán thường gặp trong computer graphics rendering, cho phép các cảnh động được render nhanh hơn đáng kể.

Link to this sectionCách thức hoạt động của 4D Gaussian Splatting#

Kiến trúc này dựa trên các hàm toán học liên tục để theo dõi trạng thái của từng Gaussian tại bất kỳ thời điểm nào. Trong quá trình tối ưu hóa, các machine learning algorithms cập nhật các tọa độ không gian (X, Y, Z) và giá trị màu sắc cùng với trường biến dạng theo thời gian. Các nhà nghiên cứu thường sử dụng các thư viện nền tảng được ghi chép trong tài liệu PyTorch chính thức hoặc hướng dẫn TensorFlow để xử lý quá trình backpropagation phức tạp cần thiết để huấn luyện các mô hình theo thời gian này.

Hệ thống giảm thiểu sự khác biệt giữa đầu ra được render và chuỗi video ground-truth. Các đột phá gần đây được công bố trên các kho lưu trữ học thuật như arXiv và ACM Digital Library đã chỉ ra rằng việc tách biệt phông nền tĩnh khỏi các yếu tố tiền cảnh động giúp cải thiện đáng kể độ ổn định khi huấn luyện.

Link to this sectionCác ứng dụng AI và ML trong thế giới thực#

• Immersive Virtual Reality (VR): 4D Gaussian Splatting được sử dụng rộng rãi để ghi lại các màn trình diễn động của con người cho VR và thực tế tăng cường. Thay vì phải phụ thuộc vào các bộ đồ bắt chuyển động cồng kềnh, người sáng tạo có thể ghi hình diễn viên từ nhiều góc độ và tạo ra một video có góc nhìn tự do, có thể điều hướng đầy đủ về màn trình diễn đó.
• Xe tự hành và Robot: Xe tự lái đòi hỏi sự hiểu biết vững chắc về môi trường xung quanh. Bằng cách tái tạo các cảnh quan đường phố động—bao gồm người đi bộ và phương tiện đang di chuyển—các kỹ sư có thể tạo ra các mô phỏng chân thực cao để kiểm thử an toàn các model điều hướng tự hành trước khi triển khai trong thế giới thực.

Link to this sectionChuẩn bị dữ liệu cho tái tạo 4D#

Một bước quan trọng trong việc tạo các cảnh 4D chất lượng cao bao gồm việc tách các đối tượng chuyển động ra khỏi phông nền tĩnh. Các nhà phát triển thường sử dụng object tracking và instance segmentation để tạo các mặt nạ động trước khi quá trình splatting bắt đầu.

Bạn có thể dễ dàng theo dõi và tách các đối tượng chuyển động trong video bằng cách sử dụng mô hình Ultralytics YOLO26. Mã sau đây minh họa cách thực hiện việc này trong quy trình tiền xử lý:

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run real-time tracking on a dynamic scene video to isolate moving subjects
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

Bằng cách tận dụng các quy trình generative AI hiện đại, các nhóm có thể tải video và chú thích đã ghi trực tiếp lên Ultralytics Platform để quản lý tập dữ liệu một cách hiệu quả. Từ đó, việc áp dụng các mẹo huấn luyện mô hình đảm bảo các bounding box thu được che đi hoàn hảo các yếu tố động, mở đường cho việc tạo cảnh 4D nguyên sơ. Nghiên cứu tiên tiến từ các tổ chức như Google DeepMind và OpenAI chỉ ra rằng việc tích hợp tính năng mask không gian nhận diện đối tượng đang trở thành một thông lệ tiêu chuẩn trong tổng hợp góc nhìn theo thời gian.