Inverse Rendering

Kết xuất ngược (inverse rendering) là quá trình đi ngược từ một hình ảnh để ước tính cảnh đã tạo ra nó. Quá trình kết xuất thông thường bắt đầu bằng một cảnh 3D, máy ảnh, ánh sáng và vật liệu, sau đó tạo ra một bức ảnh 2D. Kết xuất ngược bắt đầu bằng bức ảnh và đặt câu hỏi sự kết hợp nào giữa hình dạng, góc nhìn, thuộc tính bề mặt và hệ thống chiếu sáng có thể giải thích các điểm ảnh của nó. Nó hữu ích khi một hệ thống AI cần hiểu không chỉ những gì xuất hiện trong hình ảnh, mà còn lý do tại sao nó trông như vậy.

Cách Kết Xuất Ngược Hoạt Động#

Hãy tưởng tượng bức ảnh của một chiếc cốc gốm sứ. Đường viền của chiếc cốc gốm sứ gợi ý hình dạng của chiếc cốc gốm sứ, nhưng mảng sáng ở bên cạnh có thể là sơn trắng hoặc phản chiếu từ cửa sổ. Một hệ thống kết xuất ngược cố gắng tách biệt các nguyên nhân này. Nó biểu diễn hình học của chiếc cốc gốm sứ, vật liệu của chiếc cốc gốm sứ, các nguồn sáng và máy ảnh, sau đó so sánh một hình ảnh được kết xuất từ các ước tính đó với bức ảnh. Nó điều chỉnh các ước tính cho đến khi các hình ảnh trùng khớp chặt chẽ hơn. Các hướng dẫn kết xuất ngược Mitsuba thể hiện phương pháp chuyển từ hình ảnh sang cảnh này.

Các thuộc tính được ước tính phục vụ các mục đích khác nhau. Hình học mô tả bề mặt 3D của chiếc cốc gốm sứ. Vật liệu mô tả cách bề mặt đó phản xạ ánh sáng; hướng dẫn vật liệu Blender giải thích lý do tại sao màu sắc và độ phản xạ là các thuộc tính riêng biệt. Hệ thống chiếu sáng mô tả ánh sáng đến bề mặt. Các tham số máy ảnh mô tả góc nhìn và phép chiếu, bao gồm tiêu cự và độ méo thấu kính, như được trình bày trong hướng dẫn hiệu chuẩn máy ảnh OpenCV.

Một hệ thống có thể ước tính các thuộc tính này bằng các dự đoán đã học, tối ưu hóa lặp đi lặp lại hoặc cả hai. Trong phương pháp lặp đi lặp lại, kết xuất khả vi cung cấp một cách để đo lường mức độ thay đổi tham số cảnh ảnh hưởng đến hình ảnh được kết xuất như thế nào. Ví dụ, hướng dẫn vị trí máy ảnh PyTorch3D điều chỉnh ước tính máy ảnh để khớp tốt hơn với góc nhìn tham chiếu. Kết xuất khả vi là một công cụ để giải quyết một bài toán kết xuất ngược, chứ không phải là một tên gọi khác của chính bài toán đó.

Các khái niệm liên quan và điểm khác biệt chính#

Kết xuất ngược thường được gọi là đồ họa ngược, đặc biệt khi mục tiêu là khôi phục mô tả cảnh có cấu trúc từ hình ảnh. Phạm vi của kết xuất ngược phụ thuộc vào tác vụ: một hệ thống có thể chỉ ước tính hệ thống chiếu sáng và vật liệu, hoặc ước tính chung hình học, hệ thống chiếu sáng và tư thế máy ảnh.

Nó trùng lặp với ước tính độ sâu, dự đoán khoảng cách từ các bề mặt có thể nhìn thấy đến máy ảnh. Độ sâu là một phần khả thi của mô tả cảnh; bản đồ độ sâu đơn thuần không cho bạn biết liệu một bề mặt sáng có bóng loáng hay không, ánh sáng nào chiếu sáng bề mặt sáng, hay cái gì nằm phía sau bề mặt sáng. Tương tự như vậy, tái tạo 3D tập trung vào việc khôi phục hình dạng hoặc một biểu diễn không gian. Hướng dẫn tái tạo COLMAP minh họa cách các góc nhìn chồng chéo có thể khôi phục tư thế máy ảnh và cấu trúc 3D, mà không nhất thiết phải tách biệt vật liệu khỏi hệ thống chiếu sáng.

Cuối cùng, kết xuất thần kinh liên quan đến việc tạo ra các hình ảnh với các biểu diễn cảnh đã học. Biểu diễn như vậy có thể được khớp với các bức ảnh, nhưng việc tạo ra các góc nhìn mới thuyết phục không tự động có nghĩa là các giá trị bên trong của biểu diễn mô tả chính xác các vật liệu hoặc ánh sáng vật lý của cảnh.

Hai Ứng Dụng Thực Tế#

Trong trực quan hóa sản phẩm, nhà bán lẻ có thể chụp ảnh một chiếc giày từ nhiều góc độ và ước tính hình dạng, diện mạo bề mặt và hệ thống chiếu sáng của chiếc giày. Một cảnh đã khớp có thể giúp tạo ra các hình ảnh nhất quán từ các góc nhìn mới hoặc cho thấy chiếc giày có thể trông như thế nào dưới các ánh sáng phòng thu khác nhau. Việc tách biệt vật liệu của chiếc giày khỏi hệ thống chiếu sáng của bức ảnh gốc là rất quan trọng: nếu không, điểm nổi bật được ghi lại có thể vẫn dính chặt vào chiếc giày khi chiếc giày được kết xuất từ một góc độ khác.

Trong thực tế tăng cường, một ứng dụng có thể ước tính hình học phòng và hệ thống chiếu sáng phòng để một chiếc đèn ảo xuất hiện trên một chiếc bàn thật và phản hồi một cách hợp lý với môi trường xung quanh chiếc bàn thật. Hình học và độ sâu giúp xác định thời điểm đồ đạc thật nên che khuất một phần của đối tượng ảo; hướng dẫn độ sâu ARCore giải thích hiệu ứng này, được gọi là sự che khuất. Các ước tính hệ thống chiếu sáng giúp chiếc đèn ảo trông bớt giống một lớp phủ phẳng hơn. Cả hai ứng dụng đều cần kiểm tra vượt ra ngoài việc liệu một hình ảnh đầu ra có trông thuyết phục hay không.

Điểm Khởi Đầu Độ Sâu Thực Tế#

Bản đồ độ sâu là một đầu vào hình học hữu ích cho một đường ống kết xuất ngược rộng hơn. Ultralytics YOLO26 cung cấp quy trình ước tính độ sâu đơn mắt được tài liệu hóa dự đoán khoảng cách bề mặt có thể nhìn thấy từ một hình ảnh RGB:

from ultralytics import YOLO

# Load a pretrained depth model.
model = YOLO("yolo26n-depth.pt")

# Predict depth for an image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save a visualization of the depth prediction.
result.save(filename="depth_result.jpg")

Điều này lưu lại một góc nhìn về độ sâu được dự đoán, không phải là một cảnh được kết xuất ngược. Mô hình không khôi phục các đèn hoặc thuộc tính vật liệu của hình ảnh. Để xây dựng một cảnh đầy đủ hơn, một đường ống riêng biệt phải kết hợp các ước tính hình học, máy ảnh, vật liệu và hệ thống chiếu sáng phù hợp. Hướng dẫn hình ảnh RGB-D Open3D cho thấy cách màu sắc và độ sâu được căn chỉnh có thể đóng góp cho một đám mây điểm khi các tham số máy ảnh có sẵn.

Sự Mơ Hồ và Giới Hạn Thực Tế#

Một hình ảnh duy nhất hiếm khi có một giải thích đúng duy nhất. Một mảng tối có thể là một cái bóng, sơn tối hoặc một bề mặt quay đi khỏi ánh sáng; một vật thể nhỏ ở gần có thể giống một vật thể lớn hơn ở xa hơn. Sự phản chiếu, bề mặt trong suốt, hình học ẩn và hiệu chỉnh máy ảnh không chính xác làm tăng thêm sự không chắc chắn.

Nhiều góc nhìn hơn và hệ thống chiếu sáng có kiểm soát có thể thu hẹp các khả năng, nhưng chúng không loại bỏ nhu cầu xác thực kết quả. So sánh các kích thước được ước tính với các phép đo đã biết, kiểm tra xem các kết xuất có khớp với các góc nhìn bị giữ lại hay không, và kiểm tra xem các vật liệu được khôi phục có còn hợp lý khi ánh sáng thay đổi hay không. Đối với các nhóm thu thập hình ảnh được gán nhãn hoặc đào tạo các mô hình thị giác hỗ trợ, Ultralytics Platform cung cấp các công cụ chú thích tập dữ liệu, đào tạo và triển khai; bản thân việc tối ưu hóa kết xuất ngược vẫn là một quy trình riêng biệt.