Implicit Neural Representations (INRs)

Implicit Neural Representations (INRs) là một cách tiếp cận hiện đại trong deep learning (DL) trong đó các tín hiệu liên tục, phức tạp—như hình ảnh, âm thanh hoặc cảnh 3D—được tham số hóa bằng neural network (NN) thay vì cấu trúc lưới rời rạc truyền thống như pixel hoặc voxel. Bằng cách ánh xạ trực tiếp tọa độ không gian hoặc thời gian tới các giá trị tín hiệu cụ thể (ví dụ: màu sắc hoặc mật độ), INRs cho phép ánh xạ hình ảnh độ phân giải vô hạn về mặt lý thuyết. Công thức toán học thanh lịch này đã cách mạng hóa computer vision (CV) và generative AI, mang lại những cải tiến lớn trong việc tái tạo 3D, kết xuất (rendering) và nén dữ liệu.

Cách thức hoạt động của Biểu diễn Neural ẩn#

Khác với các biểu diễn tường minh tiêu chuẩn lưu trữ dữ liệu trong mảng hữu hạn, một INR sử dụng hàm toán học liên tục, thường là multi-layer perceptron (MLP), để học cấu trúc không gian (topology) cơ bản của tín hiệu. Ví dụ, để biểu diễn một hình ảnh, mạng nhận tọa độ pixel 2D (x, y) làm đầu vào và xuất ra màu RGB tương ứng. Vì biểu diễn này mang tính liên tục, bạn có thể truy vấn model tại bất kỳ điểm không gian tùy ý nào, tạo ra đầu ra độc lập về độ phân giải một cách tự nhiên.

"Thiên vị phổ" (spectral bias) là một thách thức phổ biến trong nghiên cứu INR thời kỳ đầu, nơi các mạng cơ bản gặp khó khăn trong việc nắm bắt các chi tiết tần số cao như cạnh sắc hoặc kết cấu phức tạp. Các tiến bộ gần đây được chi tiết trong tài liệu học thuật như arXiv và các ấn phẩm về computer vision của IEEE giải quyết vấn đề này bằng cách sử dụng các hàm kích hoạt chuyên biệt (như mạng SIREN dựa trên hàm sin) hoặc mã hóa đặc trưng Fourier. Các kỹ thuật này cho phép model giữ lại các chi tiết trực quan sắc nét, độ trung thực cao ngay cả trong các cảnh động phức tạp.

Các ứng dụng trong thực tế#

Vì chúng học các hàm liên tục, INRs mang lại giá trị to lớn khi giới hạn độ phân giải lưới vật lý gây ra vấn đề về tính toán.

• Tái tạo hình ảnh y tế: Trong môi trường lâm sàng, INRs ngày càng được sử dụng để nâng cao năng lực chẩn đoán. Chúng có thể tái tạo các bản chụp MRI hoặc CT độ phân giải cao từ dữ liệu cảm biến được lấy mẫu thưa thớt. Điều này giảm thiểu thời gian phơi nhiễm của bệnh nhân đồng thời mang lại kết quả chẩn đoán rõ ràng hơn.
• Tổng hợp cảnh 3D độ trung thực cao: INRs đóng vai trò là kiến trúc nền tảng đằng sau các kỹ thuật tổng hợp góc nhìn hiện đại. Bằng cách đánh giá tọa độ và góc nhìn, INRs tạo ra dữ liệu thể tích (volumetric data) cần thiết để kết xuất môi trường chân thực cho trò chơi điện tử hoặc sản xuất phim.
• Nén dữ liệu nâng cao: Thay vì lưu trữ hàng triệu pixel hoặc mẫu âm thanh riêng lẻ, các kỹ sư chỉ có thể truyền tải trọng số model đã được huấn luyện. Các ấn phẩm trên tạp chí Nature về biểu diễn ẩn gần đây nhấn mạnh cách mô hình này làm giảm đáng kể kích thước file đối với dữ liệu khoa học đa chiều.

Sự khác biệt với các khái niệm liên quan#

Hiểu về INRs đòi hỏi phải phân biệt chúng với các phương pháp biểu diễn đã được thiết lập khác.

• INRs so với Biểu diễn Lưới Tường minh: Các định dạng tường minh như lưới voxel 3D có dung lượng bộ nhớ cố định tăng theo cấp số nhân cùng độ phân giải. Tuy nhiên, INRs có dung lượng bộ nhớ cố định chỉ dựa trên kích thước của neural network, không gắn liền với độ phân giải không gian của đầu ra.
• INRs so với Neural Radiance Fields (NeRFs): NeRF là một ứng dụng cụ thể của INR. Trong khi "INR" đề cập đến kỹ thuật tổng thể ánh xạ tọa độ sang tín hiệu sử dụng neural network, NeRF sử dụng INR đặc biệt để ánh xạ tọa độ không gian 3D và hướng nhìn tới màu sắc cùng mật độ thể tích nhằm tổng hợp các góc nhìn 3D mới.

Tích hợp INRs vào các quy trình làm việc Vision#

Mặc dù INRs xử lý việc tạo và biểu diễn dữ liệu không gian liên tục, chúng thường hoạt động song song với các model thị giác tường minh. Chẳng hạn, một INR có thể tổng hợp một khung hình độ phân giải cao của một cảnh hoặc tạo ra dữ liệu tổng hợp, sau đó được đưa vào pipeline phát hiện đối tượng.

Bạn có thể sử dụng các framework như thư viện PyTorch neural network để định nghĩa các mạng ánh xạ tọa độ này. Khi một hình ảnh được tái tạo hoặc nâng cấp độ phân giải bởi INR, bạn có thể xử lý nó một cách liền mạch bằng cách sử dụng một model nâng cao như Ultralytics YOLO26. Hơn nữa, khi tạo các tập dữ liệu huấn luyện từ các cảnh đã tổng hợp này, Ultralytics Platform cung cấp cơ sở hạ tầng đám mây mạnh mẽ để gán nhãn và triển khai. Hướng dẫn chi tiết có sẵn trong tài liệu Platform.

import torch
import torch.nn as nn
from ultralytics import YOLO

# 1. Define a basic INR mapping 2D coordinates to RGB
inr = nn.Sequential(nn.Linear(2, 64), nn.ReLU(), nn.Linear(64, 3), nn.Sigmoid())

# 2. Reconstruct RGB pixels from continuous (x, y) coordinates
synthetic_pixels = inr(torch.rand(100, 2))

# 3. Analyze the synthesized data with Ultralytics YOLO26
model = YOLO("yolo26n.pt")

Bằng cách tách rời việc biểu diễn dữ liệu khỏi các giới hạn lưới vật lý, implicit neural representations cung cấp một framework có khả năng mở rộng cao, tối ưu bộ nhớ cho tương lai của không gian thông minh (spatial intelligence) và các kiến trúc machine learning liên tục.