Neural Ordinary Differential Equations (Neural ODEs)

Neural Ordinary Differential Equations, hay Neural ODEs, là các mạng nơ-ron mô hình hóa cách trạng thái ẩn thay đổi liên tục thay vì truyền nó qua một chuỗi lớp cố định. Chúng xác định tốc độ thay đổi khả học, được viết là dh/dt = f(h, t, parameters), và sử dụng bộ giải phương trình vi phân số học để phát triển trạng thái từ giá trị ban đầu đến thời gian được yêu cầu. Theo trực giác, một mạng nơ-ron thông thường học một tập hợp các phép biến đổi, trong khi một Neural ODE học đường dẫn liên tục kết nối đầu vào và đầu ra của Neural ODE.

Cách thức hoạt động của Neural ODEs#

Hàm f thường là một mạng nơ-ron nhỏ được gọi là vector field hoặc dynamics function. Với trạng thái hiện tại h và thời gian t tùy chọn, hàm f dự đoán hướng và tốc độ mà trạng thái đó nên di chuyển. Bộ giải ODE liên tục đánh giá hàm f này và tích hợp các thay đổi đó để ước tính trạng thái sau đó.

Quy trình làm việc được xác định bởi ba thành phần:

• Initial state: Đầu vào, quan sát được mã hóa, hoặc điều kiện hệ thống đã biết tại thời điểm bắt đầu.
• Learned dynamics: Một hàm được tham số hóa trả về đạo hàm trạng thái thay vì trạng thái tiếp theo trực tiếp.
• Numerical integration: Một thuật toán như Runge-Kutta xấp xỉ quỹ đạo. Giao diện solve_ivp ODE interface minh họa cách các bài toán giá trị ban đầu được xử lý bởi phần mềm số học thông thường.

Các bộ giải thích ứng có thể thực hiện các bước nhỏ khi động lực học thay đổi nhanh chóng và các bước lớn hơn ở các vùng mượt mà hơn. Do đó, chi phí tính toán phụ thuộc vào động lực học đã học, phương pháp giải, độ dài khoảng và dung sai sai số — không chỉ dựa trên số lớp được định trước. Ví dụ DiffEqFlux Neural ODE example minh họa trực tiếp công thức thời gian liên tục này.

Sự khác biệt với các mô hình liên quan#

• Residual Networks: Một khối phần dư thực hiện bản cập nhật rời rạc chẳng hạn như “trạng thái hiện tại cộng với một thay đổi đã học”. Một Neural ODE có thể được xem như một phần mở rộng chiều sâu liên tục trong đó bộ giải ODE xác định các bản cập nhật trung gian.

• Recurrent Neural Networks: RNN cập nhật trạng thái ẩn của chúng ở các bước chuỗi rời rạc. Neural ODEs tiến hóa liên tục và có thể truy vấn trạng thái tự nhiên tại các mốc thời gian tùy ý, mặc dù Neural ODEs có thể yêu cầu tính toán nhiều hơn.

• State-Space Models: Cả hai đều đại diện cho các trạng thái ẩn đang phát triển. Các mô hình không gian trạng thái thường sử dụng động lực học rời rạc hoặc liên tục có cấu trúc để xử lý chuỗi hiệu quả, trong khi một Neural ODE đặt cụ thể một mạng nơ-ron bên trong quá trình giải ODE số học.

• Neural Operators: Các toán tử nơ-ron học các phép ánh xạ giữa toàn bộ hàm hoặc trường, thường xuyên qua các độ phân giải không gian khác nhau. Neural ODEs thường học quỹ đạo của trạng thái chiều hữu hạn từ một điều kiện ban đầu.

Neural ODEs cũng khác với các mạng nơ-ron thông tin vật lý. Một mạng thông tin vật lý thường xấp xỉ nghiệm của một phương trình vi phân thông thường trong khi bị ràng buộc bởi một phương trình đã biết; một Neural ODE thường học toàn bộ hoặc một phần của hàm đạo hàm.

Các ứng dụng trong thực tế#

• Irregular Time-Series Analysis: Các phép đo trong bệnh viện, dữ liệu từ xa của máy móc, và cảm biến môi trường có thể đến ở các khoảng thời gian không đều. Một Neural ODE có thể phát triển trạng thái bệnh nhân hoặc máy móc ẩn giữa các mốc thời gian thực tế, hỗ trợ nội suy, dự báo, và xử lý quan sát bị thiếu mà không ép buộc mọi mẫu vào một lưới cố định.

• Object Tracking and Motion Forecasting: Một hệ thống thị giác có thể sử dụng Ultralytics YOLO26 để quan sát các đối tượng hoặc điểm đặc trưng trong video, sau đó chuyển các vị trí và vận tốc sang một Neural ODE riêng biệt để mô hình hóa chuyển động liên tục. Điều này có thể giúp ước tính quỹ đạo giữa các khung hình hoặc trong các khoảng che khuất ngắn. Bản thân YOLO không phải là một Neural ODE; ODE đóng vai trò là một mô hình thời gian hạ nguồn.

Đối với phần nhận thức của các hệ thống như vậy, Ultralytics Platform hỗ trợ chú thích tập dữ liệu đám mây, huấn luyện mô hình, triển khai, và giám sát, trong khi Neural ODE tùy chỉnh vẫn là một thành phần động lực học riêng biệt.

Ví dụ vi phân tối thiểu#

Gói torchdiffeq package cung cấp các bộ giải ODE khả vi cho PyTorch. Sau khi chạy pip install torch torchdiffeq, ví dụ này tạo ra một vector field nơ-ron, tích hợp một trạng thái hai chiều, và tính toán độ dốc huấn luyện:

import torch
from torch import nn
from torchdiffeq import odeint

torch.manual_seed(0)

dynamics = nn.Sequential(
    nn.Linear(2, 32),
    nn.Tanh(),
    nn.Linear(32, 2),
)

initial_state = torch.tensor([[1.0, 0.0]])
times = torch.linspace(0.0, 2.0, 21)

trajectory = odeint(lambda _time, state: dynamics(state), initial_state, times)
loss = trajectory[-1].square().mean()
loss.backward()

print(dynamics[0].weight.grad.norm())

Quỹ đạo đầu ra chứa trạng thái được ước tính tại mọi thời điểm được yêu cầu. Độ dốc khác không cho thấy bộ giải vẫn là một phần của phép tính có thể huấn luyện. Điều này dựa trên các khái niệm được đề cập bởi PyTorch automatic differentiation; các hệ thống độ dốc có thể so sánh được có sẵn trong TensorFlow và JAX.

Các cân nhắc thực tế#

Neural ODEs hữu ích nhất khi sự tiến hóa liên tục, mốc thời gian không đều, hoặc cấu trúc động lực học đã biết là quan trọng. Chúng không tự động nhanh hơn hoặc chính xác hơn các lớp thông thường.

Dung sai của bộ giải nên được xác nhận bởi vì dung sai lỏng lẻo có thể làm giảm độ chính xác, trong khi dung sai nghiêm ngặt có thể kích hoạt nhiều đánh giá hàm. Động lực học cứng hoặc không liên tục cũng có thể làm cho việc huấn luyện chậm hoặc không ổn định. Các nhóm nên so sánh vi phân trực tiếp với adjoint sensitivity methods, giám sát các đánh giá bộ giải và hành vi độ dốc, và đánh giá điểm chuẩn so với các đường cơ sở hồi quy hoặc không gian trạng thái đơn giản hơn. Các công cụ sản xuất như Neural ODE layer được ghi chép của MATLAB cũng phơi bày các cài đặt bộ giải và độ dốc, nhấn mạnh rằng cấu hình số học là một phần thiết yếu của Neural ODE layer.