Implicit Neural Representations (INRs)

Biểu diễn nơ-ron ẩn (INRs) là một phương pháp hiện đại trong học sâu (DL), trong đó các tín hiệu phức tạp, liên tục—chẳng hạn như hình ảnh, âm thanh hoặc cảnh 3D—được tham số hóa bằng mạng nơ-ron (NN) thay vì các cấu trúc lưới rời rạc truyền thống như pixel hoặc voxel. Bằng cách ánh xạ trực tiếp các tọa độ không gian hoặc thời gian thành các giá trị tín hiệu cụ thể (ví dụ: màu sắc hoặc mật độ), INRs cho phép ánh xạ hình ảnh với độ phân giải về mặt lý thuyết là vô hạn. Công thức toán học tinh tế này đã tạo nên bước đột phá trong thị giác máy tính (CV) và AI tạo sinh, giúp cải thiện đáng kể khả năng tái tạo 3D, kết xuất và nén dữ liệu.

Cách hoạt động của biểu diễn nơ-ron ẩn#

Không giống các biểu diễn tường minh tiêu chuẩn lưu trữ dữ liệu trong mảng hữu hạn, INR sử dụng một hàm toán học liên tục, thường là perceptron đa lớp (MLP), để học cấu trúc liên kết cơ bản của tín hiệu. Ví dụ, để biểu diễn một hình ảnh, mạng nhận tọa độ pixel 2D (x, y) làm đầu vào và xuất ra màu RGB tương ứng. Vì biểu diễn này liên tục, bạn có thể truy vấn model tại bất kỳ điểm không gian nào, tạo ra đầu ra không phụ thuộc vào độ phân giải.

Một thách thức phổ biến trong nghiên cứu INR giai đoạn đầu là "thiên lệch phổ", khi các mạng cơ bản gặp khó khăn trong việc nắm bắt các chi tiết tần số cao như cạnh sắc nét hoặc kết cấu phức tạp. Những tiến bộ gần đây được trình bày trong các tài liệu học thuật như arXiv và các tạp chí giao dịch về thị giác máy tính của IEEE khắc phục vấn đề này bằng cách sử dụng hàm kích hoạt chuyên biệt (chẳng hạn như mạng SIREN dựa trên hàm sin) hoặc mã hóa đặc trưng Fourier. Những kỹ thuật này giúp model giữ lại các chi tiết hình ảnh sắc nét, có độ trung thực cao ngay cả trong những cảnh động phức tạp.

Ứng dụng thực tế#

Vì học các hàm liên tục, INRs đặc biệt hữu ích khi giới hạn về độ phân giải của lưới vật lý gây ra vấn đề tính toán.

• Tái tạo ảnh y tế: Trong môi trường lâm sàng, INR ngày càng được ứng dụng để nâng cao năng lực chẩn đoán. INR có thể tái tạo ảnh MRI hoặc CT độ phân giải cao từ dữ liệu cảm biến được lấy mẫu thưa. Điều này giúp giảm thời gian phơi nhiễm của bệnh nhân, đồng thời mang lại kết quả chẩn đoán rõ nét hơn.
• Tổng hợp cảnh 3D có độ trung thực cao: INR là kiến trúc nền tảng đứng sau các kỹ thuật tổng hợp góc nhìn hiện đại. Bằng cách đánh giá tọa độ và góc nhìn, INR tạo ra dữ liệu thể tích cần thiết để kết xuất môi trường chân thực như ảnh cho trò chơi điện tử hoặc sản xuất phim.
• Nén dữ liệu nâng cao: Thay vì lưu trữ hàng triệu pixel hoặc mẫu âm thanh riêng lẻ, kỹ sư có thể chỉ truyền trọng số model đã huấn luyện. Các công bố trên Nature về biểu diễn ẩn gần đây cho thấy mô hình này giúp giảm đáng kể kích thước tệp dữ liệu khoa học nhiều chiều.

Phân biệt với các khái niệm liên quan#

Để hiểu INR, cần phân biệt phương pháp này với các phương pháp biểu diễn đã được xác lập khác.

• INR so với biểu diễn bằng lưới tường minh: Các định dạng tường minh như lưới voxel 3D có mức sử dụng bộ nhớ cố định, tăng theo hàm mũ khi độ phân giải tăng. Ngược lại, mức sử dụng bộ nhớ của INR chỉ phụ thuộc vào kích thước mạng nơ-ron và không bị ràng buộc bởi độ phân giải không gian của đầu ra.
• INR so với trường bức xạ thần kinh (NeRFs): NeRF là một ứng dụng cụ thể của INR. Trong khi "INR" chỉ kỹ thuật tổng quát ánh xạ tọa độ thành tín hiệu bằng mạng nơ-ron, NeRF sử dụng INR chuyên biệt để ánh xạ tọa độ không gian 3D và hướng quan sát thành màu sắc và mật độ thể tích nhằm tổng hợp các góc nhìn 3D mới.

Tích hợp INR vào quy trình thị giác máy tính#

Trong khi INR xử lý việc tạo và biểu diễn dữ liệu không gian liên tục, INR thường phối hợp với các model thị giác tường minh. Chẳng hạn, INR có thể tổng hợp một khung hình cảnh có độ phân giải cao hoặc tạo dữ liệu tổng hợp, sau đó dữ liệu này được đưa vào pipeline phát hiện đối tượng.

Bạn có thể sử dụng các framework như thư viện mạng nơ-ron PyTorch để định nghĩa các mạng ánh xạ tọa độ này. Sau khi INR tái tạo hoặc tăng độ phân giải hình ảnh, bạn có thể xử lý hình ảnh liền mạch bằng một model tiên tiến như Ultralytics YOLO26. Ngoài ra, khi tạo tập dữ liệu huấn luyện từ những cảnh được tổng hợp này, Ultralytics Platform cung cấp hạ tầng đám mây mạnh mẽ cho việc gán nhãn và triển khai. Hướng dẫn chi tiết có trong tài liệu Platform.

import torch
import torch.nn as nn
from ultralytics import YOLO

# 1. Định nghĩa ánh xạ INR cơ bản từ tọa độ 2D sang RGB
inr = nn.Sequential(nn.Linear(2, 64), nn.ReLU(), nn.Linear(64, 3), nn.Sigmoid())

# 2. Tái tạo pixel RGB từ các tọa độ liên tục (x, y)
synthetic_pixels = inr(torch.rand(100, 2))

# 3. Phân tích dữ liệu đã tổng hợp bằng Ultralytics YOLO26
model = YOLO("yolo26n.pt")

Bằng cách tách biểu diễn dữ liệu khỏi các giới hạn của lưới vật lý, biểu diễn nơ-ron ẩn cung cấp một framework có khả năng mở rộng cao và tiết kiệm bộ nhớ cho tương lai của trí tuệ không gian và các kiến trúc học máy liên tục.