Novel View Synthesis (NVS)

Quá trình tạo ra các góc nhìn mới, chưa từng thấy của một cảnh 3D từ một tập hợp giới hạn các hình ảnh 2D là một tác vụ nâng cao trong computer vision (CV). Kỹ thuật này phụ thuộc rất nhiều vào deep learning (DL) để suy luận chính xác về hình học, ánh sáng, kết cấu và hiện tượng bị che khuất cơ bản. Bằng cách dự đoán cách các đối tượng và môi trường xuất hiện từ các góc chưa được ghi lại, công nghệ này thu hẹp khoảng cách giữa hình ảnh 2D và 3D scene representation đắm chìm.

Quá trình phát triển và những tiến bộ gần đây#

Trước đây, việc tạo ra các góc nhìn mới phụ thuộc vào multi-view stereo cổ điển và các photogrammetry techniques truyền thống, vốn thường gặp khó khăn với ánh sáng phức tạp và bề mặt phản chiếu. Ngày nay, bối cảnh này bị thống trị bởi neural rendering. Điều quan trọng là phải phân biệt khái niệm rộng này với các triển khai kiến trúc cụ thể như Neural Radiance Fields (NeRF) và Gaussian Splatting. Trong khi các thuật ngữ đó đề cập đến các phương pháp toán học và cấu trúc cụ thể để render cảnh, mục tiêu bao trùm mà cả hai đều giải quyết là tạo ra các góc nhìn mới.

Các bước đột phá gần đây trong năm 2024 và 2025 đã tích hợp generative diffusion models trực tiếp vào pipeline tổng hợp. Các kiến trúc mới hơn này hỗ trợ zero-shot learning capabilities, cho phép các model tạo ra các chi tiết bị thiếu hợp lý trực tiếp trong không gian pixel mà không yêu cầu tái tạo lưới 3D rõ ràng. Điều này làm giảm chi phí tính toán vốn thường gắn liền với computer graphics rendering và tăng tốc quá trình tạo ra các kết quả chân thực như ảnh chụp.

Các ứng dụng trong thực tế#

Khả năng tổng hợp các góc độ chưa từng thấy mang lại ý nghĩa sâu sắc cho nhiều ngành công nghiệp:

• Immersive Media: Trong spatial computing hiện đại, công nghệ này rất cơ bản để tạo ra các virtual reality environments có thể khám phá và các augmented reality applications tương tác chỉ từ một vài bức ảnh điện thoại thông minh thông thường.
• E-Commerce: Các nhà bán lẻ có thể tạo ra các showcase sản phẩm 3D toàn diện từ một tập hợp thưa thớt các hình ảnh 2D, cho phép khách hàng kiểm tra sản phẩm kỹ thuật số từ mọi góc độ.
• Simulation and Training: Đối với autonomous vehicles và robotics, việc thu thập các trường hợp ngoại lệ trong thế giới thực rất nguy hiểm và tốn kém. Bằng cách tổng hợp các góc nhìn mới từ dữ liệu đường phố hoặc kho hàng hiện có, các kỹ sư có thể tạo ra vô số biến thể của một cảnh. Điều này hoạt động như một data augmentation mạnh mẽ, cải thiện độ bền vững của các model điều hướng artificial intelligence (AI) hạ nguồn.

Tích hợp với các quy trình làm việc của Ultralytics#

Sau khi các góc nhìn mới được tổng hợp, chúng thường yêu cầu phân tích cấu trúc. Sử dụng Ultralytics Platform, các nhà phát triển có thể quản lý liền mạch data collection and annotation cho các tập dữ liệu được tạo nhân tạo này.

Bằng cách huấn luyện các model tiên tiến như Ultralytics YOLO26 trên các góc nhìn đa dạng này, bạn có thể cải thiện đáng kể độ chính xác của các tác vụ object detection, image segmentation và pose estimation. Vì model học cách nhận dạng các đối tượng từ các góc chưa được chụp trước đó, model deployment kết quả trở nên kiên cường hơn đáng kể trong các kịch bản thế giới thực.

Để nhanh chóng phân tích một góc nhìn đã tổng hợp, bạn có thể truyền hình ảnh đã render trực tiếp vào một model đã được huấn luyện trước:

import cv2
from ultralytics import YOLO

# Load the highly recommended Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Load a synthesized novel view using the OpenCV library
synthesized_view = cv2.imread("novel_view_render.jpg")

# Perform real-time object detection on the newly generated perspective
results = model(synthesized_view)

# Display the detection results
results[0].show()

Cho dù bạn đang render môi trường bằng cách sử dụng PyTorch3D library hay tăng tốc inference trên phần cứng như tensor processing units (TPUs), việc tổng hợp và sau đó phân tích các góc nhìn mới vẫn nằm ở vị trí dẫn đầu trong nghiên cứu AI, được hỗ trợ liên tục bởi các recent academic preprints và các cụm cloud-based machine learning lớn.