Inverse Rendering

Kết xuất ngược là quá trình khôi phục cảnh vật lý đằng sau một hoặc nhiều hình ảnh: hình dạng 3D của các vật thể, vật liệu bề mặt, ánh sáng và camera ghi lại cảnh đó. Đồ họa máy tính thực hiện kết xuất theo chiều thuận, chuyển mô tả cảnh thành pixel. Kết xuất ngược đảo chiều quy trình vật lý tương tự, tìm kiếm các tham số cảnh có thể tái tạo những bức ảnh quan sát được. Phương pháp này nằm ở giao điểm của thị giác máy tính và đồ họa, đồng thời còn được gọi là đồ họa ngược. Luận án năm 1998 của Stephen Marschner tại Cornell, Kết xuất ngược cho đồ họa máy tính, đã xem việc khôi phục ánh sáng và độ phản xạ bề mặt từ ảnh chụp là các bài toán ngược thuộc loại này.

Phân tích bằng tổng hợp#

Hầu hết phương pháp kết xuất ngược theo một vòng lặp gọi là phân tích bằng tổng hợp: bắt đầu với một phỏng đoán về cảnh, kết xuất cảnh đó, so sánh kết quả với ảnh thật rồi điều chỉnh phỏng đoán để giảm sai khác. Kết xuất khả vi giúp mỗi lần điều chỉnh được thực hiện hiệu quả. Vì bộ kết xuất cho biết mỗi pixel thay đổi như thế nào theo từng tham số cảnh, gradient descent có thể cập nhật hàng nghìn tham số cùng lúc, tương tự cách lan truyền ngược huấn luyện một mạng nơ-ron. Các bộ kết xuất khả vi dựa trên vật lý như Mitsuba 3 mở rộng phương pháp này để xử lý bóng, phản chiếu và ánh sáng phản xạ giữa các bề mặt.

Vòng lặp này có thể được triển khai bằng vài dòng PyTorch cho cảnh đơn giản nhất: một quả cầu mờ được chiếu sáng bởi một nguồn sáng ở xa. Đoạn mã kết xuất ảnh mục tiêu bằng hướng ánh sáng và độ sáng bề mặt (albedo) mà bộ tối ưu hóa không được cung cấp, sau đó chỉ dựa vào pixel để khôi phục cả hai bằng bộ tối ưu hóa Adam:

import torch
import torch.nn.functional as F

# Unit normals of a sphere seen head-on, on a 64 x 64 pixel grid
y, x = torch.meshgrid(torch.linspace(-1, 1, 64), torch.linspace(-1, 1, 64), indexing="ij")
z = (1 - x**2 - y**2).clamp(min=0).sqrt()
normals = torch.stack([x, y, z], dim=-1)[z > 0]

# Lambertian "photo" lit from a direction the optimizer never sees, with albedo 0.8
photo = 0.8 * (normals @ F.normalize(torch.tensor([0.6, -0.4, 0.7]), dim=0)).clamp(min=0)

# Fit light direction and albedo: render, compare with the photo, follow the gradients
light = torch.tensor([0.0, 0.0, 1.0], requires_grad=True)
albedo = torch.tensor(0.3, requires_grad=True)
optimizer = torch.optim.Adam([light, albedo], lr=0.02)
for _ in range(500):
    render = albedo * (normals @ F.normalize(light, dim=0)).clamp(min=0)
    loss = (render - photo).pow(2).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print(f"Light direction: {F.normalize(light.detach(), dim=0).numpy().round(3)}, albedo: {albedo.item():.3f}")

Đoạn mã in ra Light direction: [ 0.597 -0.398 0.697], albedo: 0.800, tức chính xác các giá trị bị ẩn. Hệ thống sản xuất duy trì vòng lặp tương tự nhưng thay mô hình chiếu sáng một dòng bằng truyền tải ánh sáng đầy đủ; các đại lượng cần khôi phục mở rộng thành lưới, bản đồ texture và ánh sáng môi trường.

Vì sao bài toán này không xác định duy nhất#

Nhiều cảnh khác nhau có thể tạo ra cùng một hình ảnh. Một vùng tối có thể là lớp sơn sẫm màu hơn, bóng đổ hoặc bề mặt nghiêng xa nguồn sáng; một điểm sáng có thể là vật liệu bóng hoặc do đèn được đặt đúng vị trí. Độ sáng cũng không xác định duy nhất: tăng gấp đôi cường độ sáng trong khi giảm một nửa albedo sẽ tạo ra các pixel giống hệt nhau. Vì vậy, đoạn mã chuẩn hóa hướng chiếu sáng và để albedo biểu thị toàn bộ độ sáng. Các phương pháp thu hẹp phạm vi đáp án theo ba cách:

• Nhiều quan sát hơn: Chụp một vật thể từ nhiều góc nhìn hoặc dưới một số nguồn sáng đã biết, như trong stereo quang trắc, giúp ràng buộc hình dạng và vật liệu tốt hơn nhiều so với chỉ một ảnh.
• Tiên nghiệm học được: Mạng được huấn luyện trên tập hợp lớn các cảnh đã kết xuất dự đoán pháp tuyến, vật liệu hoặc ánh sáng có khả năng xuất hiện từ một ảnh, cung cấp điểm khởi đầu vững chắc cho bộ tối ưu hóa.
• Hình học đã biết: Khi hình dạng được lấy từ cảm biến độ sâu hoặc model độ sâu, các đại lượng chưa biết còn lại chỉ là vật liệu và ánh sáng.

Ước tính độ sâu từ một ảnh cung cấp thông tin hình học đó cho ảnh chụp thông thường. Model độ sâu Ultralytics YOLO26 dự đoán bản đồ độ sâu theo từng pixel, tính bằng mét, từ một ảnh RGB; các pháp tuyến bề mặt được tính từ gradient của bản đồ chính là thông tin hình học về độ bóng mà ví dụ hình cầu giả định là đã có sẵn.

Kết xuất ngược so với tái dựng và kết xuất neural#

Tái tạo 3D khôi phục hình học, thường bằng cấu trúc từ chuyển động và lập thể đa góc nhìn, đồng thời thường tích hợp ánh sáng lúc chụp vào màu bề mặt. Trường bức xạ thần kinh và splatting Gaussian được khớp bằng cùng vòng lặp kết xuất và so sánh, nhưng chúng mô hình hóa diện mạo của cảnh từ từng hướng mà không tách bề mặt khỏi ánh sáng, vì vậy góc nhìn mới vẫn giữ nguyên ánh sáng ban đầu. Mục tiêu của kết xuất ngược là tách riêng các yếu tố đó, nhờ vậy có thể thay đổi ánh sáng, chỉnh sửa vật liệu và chèn vật thể ảo một cách chân thực. Nhiều phương pháp gần đây kết hợp hai hướng tiếp cận bằng học sâu, bổ sung các mô hình phản xạ và ánh sáng vào trường bức xạ trong lĩnh vực rộng hơn là kết xuất thần kinh.

Thu nhận tài sản 3D, AR và hiệu ứng hình ảnh#

• Thu nhận tài sản 3D: Các nhà bán lẻ và studio game quét sản phẩm thực thành tài sản 3D với các map riêng cho màu sắc, độ nhám và pháp tuyến bề mặt, nhờ đó một model có thể được kết xuất chính xác dưới mọi điều kiện chiếu sáng trên trang sản phẩm hoặc trong game engine.
• Thực tế tăng cường: Các framework AR như ARCore của Google ước lượng ánh sáng trong phòng từ luồng camera để vật thể ảo có độ đổ bóng, bóng và phản chiếu phù hợp.
• Hiệu ứng hình ảnh: Các giàn đèn Light Stage, do Paul Debevec cùng các đồng nghiệp giới thiệu năm 2000, chụp khuôn mặt nghệ sĩ biểu diễn dưới nhiều hướng chiếu sáng khác nhau để khôi phục độ phản xạ, cho phép studio điều chỉnh ánh sáng trên khuôn mặt kỹ thuật số sao cho khớp với bất kỳ cảnh quay nào.