Differentiable Rendering

Kết xuất khả vi là một kỹ thuật nâng cao trong thị giác máy tính và đồ họa 3D, trong đó quá trình tạo ảnh đầu ra hoàn toàn khả vi về mặt toán học theo các tham số của cảnh 3D đầu vào, chẳng hạn như hình học, ánh sáng, vật liệu và vị trí camera. Không giống các engine kết xuất truyền thống hoạt động như "hộp đen", renderer khả vi cho phép các model machine learning tính gradient trực tiếp từ đầu ra pixel 2D ngược về các asset 3D cơ sở. Luồng gradient liên tục này cho phép các mạng deep learning tối ưu hóa môi trường 3D bằng các kỹ thuật lan truyền ngược tiêu chuẩn, thu hẹp khoảng cách giữa hình ảnh phẳng 2D và khả năng nhận thức không gian 3D sống động.

Cách hoạt động của các renderer khả vi#

Ở cấp độ cốt lõi, renderer khả vi theo dõi các phép toán trong quá trình rasterization hoặc ray tracing để có thể áp dụng quy tắc dây chuyền của giải tích theo chiều ngược. Khi hệ thống tính toán sai khác (loss) giữa ảnh đã kết xuất và ảnh mục tiêu, hệ thống truyền gradient ngược từ các pixel 2D để điều chỉnh mesh hoặc texture 3D.

Một hướng đổi mới quan trọng gần đây được ghi nhận trong các kho lưu trữ học thuật arXiv liên quan đến việc kết xuất khả vi các SDFs (Signed Distance Fields). Thay vì sử dụng polygon tường minh, Signed Distance Fields xác định các hình dạng 3D bằng toán học thông qua việc tính khoảng cách từ bất kỳ điểm nào trong không gian đến biên bề mặt gần nhất. Một cách tiếp cận đơn giản để kết xuất khả vi SDFs sử dụng các thuật toán ray marching. Khi các tia sáng giao với bề mặt SDF, renderer sử dụng vi phân ẩn để tính gradient tại đúng điểm giao. Phương pháp này xử lý hiệu quả các vùng che khuất phức tạp và gradient cạnh sắc mà không phải chịu chi phí tính toán do theo dõi hàng nghìn đỉnh mesh dễ sai lệch, khiến nó trở thành thành phần chủ chốt trong các thư viện như PyTorch3D và NVIDIA Kaolin.

Kết xuất khả vi so với kết xuất neural#

Mặc dù các thuật ngữ này thường xuất hiện cùng nhau trong tài liệu về deep learning, chúng mô tả các thành phần riêng biệt của pipeline đồ họa hiện đại:

• Kết xuất khả vi: Đây là framework toán học và bộ công cụ thuật toán nền tảng, bảo đảm gradient có thể lan truyền qua pipeline đồ họa. Đây là engine tính toán cách một thay đổi về ánh sáng hoặc hình dạng ảnh hưởng đến một pixel cụ thể.
• Kết xuất neural: Đây là phạm trù rộng hơn, bao quát việc sử dụng các mạng neural để tạo hoặc tổng hợp hình ảnh. Các pipeline kết xuất neural phụ thuộc nhiều vào renderer khả vi để hoạt động. Ví dụ, các kỹ thuật phổ biến như Gaussian Splatting và Neural Radiance Fields sử dụng các phép toán khả vi bên dưới để đạt được khả năng tổng hợp góc nhìn có độ chân thực cao.

Các ứng dụng trong suy luận 3D dựa trên hình ảnh#

Bằng cách làm cho quá trình kết xuất có thể đảo ngược, renderer khả vi cho phép suy luận 3D dựa trên hình ảnh. Khái niệm này, thường được gọi là đồ họa nghịch đảo, cho phép các model AI quan sát một ảnh chụp 2D duy nhất và suy ra hình dạng 3D, texture và ánh sáng đã tạo nên ảnh đó.

Các tổ chức nổi bật như MIT CSAIL và các nhóm doanh nghiệp nghiên cứu về Google DeepMind 3D sử dụng công nghệ này để thúc đẩy trí tuệ không gian. Các ứng dụng thực tiễn đang chuyển đổi nhiều ngành:

• Xe tự hành: Các hệ thống tái dựng môi trường 3D từ luồng hình ảnh phẳng của camera trên bảng điều khiển để ước tính tốt hơn khoảng cách và thể tích của chướng ngại vật.
• Ước tính tư thế: Các model khớp trực tiếp các tham số bộ xương 3D vào ảnh 2D về chuyển động của con người để phân tích cơ sinh học.

Nâng cao thị giác máy tính bằng kết xuất khả vi#

Mặc dù được thảo luận nhiều tại các hội nghị lý thuyết như ACM SIGGRAPH, kết xuất khả vi có các ứng dụng rất thực tiễn cho AI cấp production, đặc biệt là trong tạo dữ liệu tổng hợp. Các kỹ sư thị giác máy tính có thể sử dụng các framework khả vi để tối ưu hóa cảnh 3D theo chương trình nhằm tạo dữ liệu huấn luyện cho các trường hợp biên—chẳng hạn như mô phỏng điều kiện ánh sáng hiếm gặp hoặc tình trạng che khuất cụ thể của vật thể.

Dữ liệu tổng hợp được gán nhãn hoàn hảo này sau đó có thể được tải lên Nền tảng Ultralytics để huấn luyện các pipeline phát hiện vật thể và phân đoạn ảnh mạnh mẽ.

from ultralytics import YOLO

# Load the latest Ultralytics YOLO26 architecture
model = YOLO("yolo26n.pt")

# Train the model natively on a dataset generated via a differentiable renderer
results = model.train(data="synthetic_rendered_data.yaml", epochs=50, imgsz=640)

Bằng cách kết nối các kỹ thuật tạo sinh 3D với các model thị giác 2D thực tiễn như Ultralytics YOLO26, các developer có thể tạo ra những hệ thống AI có khả năng chống chịu cao, hiểu được thế giới thực ngay cả khi dữ liệu huấn luyện khan hiếm. Các tổ chức thúc đẩy những phát triển về thị giác máy tính của OpenAI tiếp tục tận dụng các công cụ này để xây dựng các model xử lý thông tin hình ảnh với khả năng nhận thức không gian 3D thực sự.