4D Gaussian Splatting

4D Gaussian Splatting là một kỹ thuật render tiên tiến trong computer vision và deep learning nhằm mở rộng các nguyên lý biểu diễn cảnh 3D tường minh bằng cách bổ sung thêm một chiều thời gian. Trong khi mô hình 3D truyền thống ghi lại các môi trường tĩnh, 4D Gaussian Splatting cho phép render các cảnh động, chuyển động theo thời gian thực với độ chân thực như ảnh chụp. Bằng cách lập mô hình cách các đối tượng và môi trường biến dạng cũng như dịch chuyển theo thời gian, công nghệ này thu hẹp khoảng cách giữa hình ảnh tĩnh và quá trình tổng hợp video sống động như thật, mang lại độ chân thực hình ảnh chưa từng có ở tốc độ khung hình cao.

Phân biệt với các kỹ thuật render liên quan#

Để hiểu rõ khái niệm này, việc so sánh nó với các phương pháp novel view synthesis có liên quan mật thiết sẽ rất hữu ích. 3D Gaussian Splatting tiêu chuẩn biểu diễn một cảnh sử dụng hàng triệu phân phối hình elipsoid tĩnh. Biến thể 4D giới thiệu các thuộc tính phụ thuộc vào thời gian, cho phép các hình elipsoid này di chuyển, xoay và thay đổi tỷ lệ trên nhiều khung hình.

Hơn nữa, không giống như Neural Radiance Fields (NeRF), vốn dựa vào các mạng neural sâu để tính toán ẩn ánh sáng và màu sắc cho mọi pixel, 4D Gaussian Splatting tính toán tường minh vị trí của các điểm trong không gian và thời gian. Quá trình rasterization tường minh này làm giảm đáng kể chi phí tính toán thường đi kèm với computer graphics rendering, cho phép các cảnh động được render nhanh hơn đáng kể.

Cách thức hoạt động của 4D Gaussian Splatting#

Kiến trúc này dựa vào các hàm toán học liên tục để theo dõi trạng thái của mỗi Gaussian tại bất kỳ mốc thời gian nào cho trước. Trong quá trình tối ưu hóa, các machine learning algorithms cập nhật tọa độ không gian (X, Y, Z) và các giá trị màu sắc song song với một trường biến dạng theo thời gian. Các nhà nghiên cứu thường sử dụng các thư viện nền tảng được tài liệu hóa trong official PyTorch documentation hoặc TensorFlow guides để xử lý quá trình backpropagation phức tạp cần thiết để huấn luyện các mô hình theo thời gian này.

Hệ thống giảm thiểu sự khác biệt giữa đầu ra được render và chuỗi video mặt đất chuẩn (ground-truth). Các đột phá gần đây được công bố trên academic archives like arXiv và ACM Digital Library đã chỉ ra rằng việc tách biệt nền tĩnh khỏi các yếu tố tiền cảnh động giúp cải thiện đáng kể độ ổn định khi huấn luyện.

Các ứng dụng AI và ML trong thế giới thực#

• Immersive Virtual Reality (VR): 4D Gaussian Splatting được sử dụng rất nhiều để ghi lại các màn biểu diễn động của con người cho VR và thực tế tăng cường. Thay vì dựa vào các bộ đồ bắt chuyển động cồng kềnh, người sáng tạo có thể quay lại diễn viên từ nhiều góc độ và tạo ra một video biểu diễn hoàn toàn có thể điều hướng, tự do lựa chọn góc nhìn.
• Autonomous Vehicles and Robotics: Xe tự lái đòi hỏi sự hiểu biết vững chắc về môi trường xung quanh. Bằng cách tái tạo các cảnh đường phố động—bao gồm người đi bộ và phương tiện đang di chuyển—các kỹ sư có thể tạo ra các mô phỏng có độ chân thực cao để thử nghiệm an toàn các autonomous navigation models trước khi triển khai trong thế giới thực.

Chuẩn bị dữ liệu cho tái tạo 4D#

Một bước quan trọng trong việc tạo ra các cảnh 4D chất lượng cao liên quan đến việc tách biệt các đối tượng chuyển động khỏi nền tĩnh. Các nhà phát triển thường sử dụng object tracking và instance segmentation để tạo ra các mặt nạ động trước khi quá trình splatting bắt đầu.

Bạn có thể dễ dàng theo dõi và cô lập các đối tượng chuyển động trong video bằng cách sử dụng mô hình Ultralytics YOLO26. Đoạn mã sau đây minh họa cách thực thi việc này trong quy trình tiền xử lý:

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run real-time tracking on a dynamic scene video to isolate moving subjects
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

Bằng cách tận dụng các quy trình generative AI hiện đại, các nhóm có thể tải lên video và chú thích đã ghi của họ trực tiếp lên Ultralytics Platform để quản lý tập dữ liệu một cách hiệu quả. Từ đó, việc áp dụng model training tips đảm bảo các bounding box thu được che hoàn hảo các yếu tố động, mở đường cho việc tạo cảnh 4D nguyên sơ. Nghiên cứu tiên tiến từ các tổ chức như Google DeepMind và OpenAI chỉ ra rằng việc tích hợp việc tạo mặt nạ không gian nhận thức đối tượng đang trở thành một tiêu chuẩn thực hành tốt nhất trong tổng hợp góc nhìn theo thời gian.