Novel View Synthesis (NVS)

Tổng hợp góc nhìn mới (NVS) là tác vụ tạo ảnh một cảnh từ vị trí camera chưa từng được chụp, dựa trên một hoặc nhiều ảnh đầu vào. Model phải suy luận vị trí các bề mặt, hình dạng của chúng khi nhìn từ góc mới và nội dung của những vùng mà mọi camera đầu vào đều không ghi lại. NVS hỗ trợ video góc nhìn tự do, tham quan ảo, cuộc gọi video 3D và trình mô phỏng phát lại hành trình đã ghi từ các quỹ đạo mới; đây cũng là phép thử tiêu chuẩn cho model thị giác máy tính 3D, vì ảnh chụp giữ lại cho thấy trực tiếp biểu diễn cảnh có phù hợp khi nhìn từ các góc mới hay không.

Cách tổng hợp góc nhìn mới hoạt động#

Phương pháp đơn giản nhất là chiếu lại pixel. Khi có giá trị độ sâu cho từng pixel, có thể di chuyển mỗi điểm đến vị trí mà camera mới sẽ nhìn thấy; kỹ thuật này gọi là dựng hình dựa trên ảnh độ sâu. Điểm ở gần camera dịch chuyển xa hơn điểm ở xa, còn các bề mặt bị che khuất trong ảnh đầu vào nhưng hiện ra ở vị trí mới tạo thành các lỗ hổng, gọi là vùng lộ ra, cần được lấp đầy. Ví dụ này tổng hợp góc nhìn bên phải của một cặp ảnh stereo Middlebury từ ảnh bên trái và disparity của ảnh đó, một dạng độ sâu nghịch đảo, rồi so sánh kết quả với ảnh thật bên phải mà phép biến đổi chưa từng nhìn thấy:

import numpy as np
from skimage import data
from skimage.metrics import peak_signal_noise_ratio as psnr

# Left view, the real right view (held out), and per-pixel disparity (inverse depth) for the left view
left, right, disp = data.stereo_motorcycle()
ys, xs = np.nonzero(np.isfinite(disp))
xt = np.round(xs - disp[ys, xs]).astype(int)  # column where the right camera, 0.19 m away, sees each pixel

# Paint far to near so the nearest surface wins where several pixels land on one spot
order = np.argsort(disp[ys, xs])
ys, xs, xt = ys[order], xs[order], xt[order]
keep = xt >= 0  # drop pixels that leave the frame
novel = np.zeros_like(left)
novel[ys[keep], xt[keep]] = left[ys[keep], xs[keep]]

# Holes are spots no left pixel reached, such as surfaces the left camera never saw
filled = novel.any(axis=2)
print(f"Holes: {1 - filled.mean():.1%} of the novel view")
print(f"PSNR, synthesized view: {psnr(right[filled], novel[filled]):.1f} dB")
print(f"PSNR, left view copied: {psnr(right[filled], left[filled]):.1f} dB")

Góc nhìn tổng hợp đạt tỷ số tín hiệu trên nhiễu đỉnh 26.9 dB khi đo trên ảnh thật, so với 12.9 dB nếu chỉ tái sử dụng ảnh bên trái, trong khi 17.0% góc nhìn mới vẫn còn các vùng khuyết. Với một ảnh đơn lẻ, độ lệch thị sai có thể được suy ra từ ước lượng độ sâu đơn ảnh: các model độ sâu của Ultralytics YOLO26 dự đoán độ sâu của từng pixel theo đơn vị mét, từ đó có thể tính độ lệch thị sai với bất kỳ mức dịch chuyển camera nào được chọn. Phương pháp ảnh 3D của Meng-Li Shih và các cộng sự tại CVPR 2020 áp dụng hướng tiếp cận này và lấp các vùng khuyết bằng kỹ thuật inpainting ảnh dựa trên học máy.

Các tập ảnh dày đặc hỗ trợ tối ưu hóa theo từng cảnh. Với hàng chục đến hàng trăm ảnh có pose camera, thường lấy từ cấu trúc chuyển động, trường bức xạ thần kinh do Ben Mildenhall và cộng sự giới thiệu năm 2020 khớp một mạng trả về màu sắc và mật độ tại mọi điểm 3D, rồi dựng hình góc nhìn mới bằng phương pháp dựng hình thể tích dọc theo từng tia camera. Gaussian splatting, do Bernhard Kerbl và cộng sự giới thiệu năm 2023, thay mạng bằng hàng triệu Gaussian 3D được raster hóa theo thời gian thực, ở tốc độ 30 khung hình/giây trở lên tại độ phân giải 1080p. Cả hai đều được huấn luyện bằng dựng hình khả vi, thông qua việc so sánh hình ảnh dựng được với ảnh đầu vào.

Khi chỉ có một hoặc vài ảnh đầu vào, model tạo sinh bổ sung những gì camera chưa ghi lại. Model diffusion được điều kiện hóa bằng ảnh đầu vào và pose camera tương đối, chẳng hạn Zero-1-to-3 của Đại học Columbia năm 2023, tạo ra các góc nhìn hợp lý về mặt khuất của một vật thể; các phương pháp diffusion đa góc nhìn tạo ra một số góc nhìn nhất quán rồi khớp biểu diễn 3D với chúng.

Chất lượng được đo trên ảnh giữ lại bằng PSNR, chỉ số tương đồng cấu trúc (SSIM) và LPIPS, một thước đo khoảng cách tri giác đã học, trên các benchmark như cảnh Blender tổng hợp trong bài báo NeRF và cảnh thực không giới hạn của Mip-NeRF 360.

Các khái niệm liên quan#

Dựng hình thần kinh là nhóm kỹ thuật đồ họa rộng hơn được xây dựng trên neural network, bao gồm NVS, chiếu sáng lại, avatar và chỉnh sửa ảnh. Tái tạo 3D hướng đến hình học có thể đo lường như mesh, trong khi NVS chỉ được đánh giá qua ảnh dựng ra, vì vậy trường bức xạ có thể tạo hình ảnh thuyết phục dù hình học còn mờ. Thị giác stereo thực hiện phép biến đổi theo chiều ngược lại, đo disparity từ hai góc nhìn thực. Nội suy khung hình tạo ra các thời điểm mới từ góc nhìn cố định, còn tạo video có điều khiển camera kết hợp cả hai bằng cách di chuyển camera ảo qua cảnh được tạo. Các cảnh động mở rộng NVS theo thời gian bằng những phương pháp như Gaussian splatting 4D.

Ứng dụng thực tế#

• Cuộc gọi video 3D: Google Beam, trước đây là Project Starline, ghi lại mỗi người tham gia bằng nhiều camera và dựng hình từ vị trí mắt của người xem trên màn hình trường ánh sáng.
• Thực tế ảo và thực tế hỗn hợp: Phòng, sản phẩm và địa danh được ghi lại trở thành cảnh có thể khám phá, được headset dựng lại cho mỗi vị trí đầu.
• Mô phỏng lái xe: Các bản tái tạo thần kinh của hành trình đã ghi tạo góc nhìn camera từ những quỹ đạo xe chưa từng đi qua, tạo dữ liệu cảm biến tổng hợp để kiểm thử khả năng tri giác. Các nhà nghiên cứu Waymo và Google xây dựng Block-NeRF từ 2.8 triệu ảnh để dựng hình toàn bộ một khu phố ở San Francisco.