Neural Ordinary Differential Equations (Neural ODEs)

Нейронные обыкновенные дифференциальные уравнения, или Neural ODEs, — это нейронные сети, которые моделируют непрерывное изменение скрытого состояния, а не передают его через фиксированную последовательность слоев. Они задают обучаемую скорость изменения, записываемую как dh/dt = f(h, t, parameters), и используют численный решатель дифференциальных уравнений для эволюции состояния от начального значения до требуемого момента времени. Интуитивно понятным образом традиционная нейронная сеть изучает стек преобразований, в то время как Neural ODE изучает непрерывный путь, соединяющий вход и выход Neural ODE.

Как работают Neural ODEs#

Функция f обычно представляет собой небольшую нейронную сеть, называемую векторным полем или функцией динамики. Учитывая текущее состояние h и необязательное время t, функция предсказывает направление и скорость, с которыми состояние должно двигаться. Решатель ODE многократно вычисляет функцию f и интегрирует эти изменения для оценки состояния в последующий момент времени.

Рабочий процесс определяется тремя компонентами:

• Начальное состояние: входные данные, закодированное наблюдение или известное состояние системы в начальный момент времени.
• Изученная динамика: параметризованная функция, которая возвращает производную состояния, а не следующее состояние напрямую.
• Численное интегрирование: алгоритм, такой как Рунге-Кутта, который аппроксимирует траекторию. Интерфейс ODE solve_ivp иллюстрирует, как задачи с начальными значениями обрабатываются традиционным численным программным обеспечением.

Адаптивные решатели могут делать небольшие шаги там, где динамика меняется быстро, и более крупные шаги в более гладких областях. Следовательно, вычислительные затраты зависят от изученной динамики, метода решателя, длины интервала и допусков погрешности, а не только от заранее определенного количества слоев. Пример Neural ODE в DiffEqFlux демонстрирует эту формулировку в непрерывном времени напрямую.

Отличия от связанных моделей#

• Остаточные сети: остаточный блок выполняет дискретное обновление, например «текущее состояние плюс изученное изменение». Neural ODE можно рассматривать как расширение непрерывной глубины, в котором решатель ODE определяет промежуточные обновления.

• Рекуррентные нейронные сети: RNN обновляют свое скрытое состояние на дискретных шагах последовательности. Neural ODE развиваются непрерывно и могут естественным образом запрашивать состояния в произвольные метки времени, хотя они могут требовать больше вычислений.

• Модели пространства состояний: обе модели представляют развивающиеся скрытые состояния. Модели пространства состояний часто используют структурированную дискретную или непрерывную динамику для эффективной обработки последовательностей, тогда как Neural ODE специально помещает нейронную сеть внутрь численного решения ODE.

• Нейронные операторы: нейронные операторы изучают отображения между целыми функциями или полями, часто с разным пространственным разрешением. Neural ODE обычно изучают траекторию состояния конечной размерности из начального условия.

Neural ODEs также отличаются от физически информированных нейронных сетей. Физически информированная сеть обычно аппроксимирует решение ODE, будучи ограниченной известным уравнением; Neural ODE обычно изучает всю функцию производной или ее часть самостоятельно.

Практические применения#

• Анализ нерегулярных временных рядов: измерения в больницах, телеметрия машин и экологические датчики могут поступать с неравными интервалами. Neural ODE может развивать скрытое состояние пациента или машины между реальными метками времени, поддерживая интерполяцию, прогнозирование и обработку пропущенных наблюдений без принудительного размещения каждой выборки на фиксированной сетке.

• Отслеживание объектов и прогнозирование движения: система технического зрения может использовать Ultralytics YOLO26 для наблюдения за объектами или ключевыми точками в видео, а затем передавать позиции и скорости в отдельный Neural ODE, который моделирует непрерывное движение. Это может помочь оценить траектории между кадрами или во время кратковременных окклюзий. Сама YOLO не является Neural ODE; ODE действует как нисходящая временная модель.

Для части восприятия таких систем Ultralytics Platform поддерживает разметку наборов данных в облаке, обучение моделей, развертывание и мониторинг, в то время как пользовательский Neural ODE остается отдельным компонентом динамики.

Минимальный дифференцируемый пример#

Пакет torchdiffeq package предоставляет дифференцируемые решатели ODE для PyTorch. После запуска pip install torch torchdiffeq этот пример создает нейронное векторное поле, интегрирует двумерное состояние и вычисляет градиент обучения:

import torch
from torch import nn
from torchdiffeq import odeint

torch.manual_seed(0)

dynamics = nn.Sequential(
    nn.Linear(2, 32),
    nn.Tanh(),
    nn.Linear(32, 2),
)

initial_state = torch.tensor([[1.0, 0.0]])
times = torch.linspace(0.0, 2.0, 21)

trajectory = odeint(lambda _time, state: dynamics(state), initial_state, times)
loss = trajectory[-1].square().mean()
loss.backward()

print(dynamics[0].weight.grad.norm())

Выходная траектория содержит оцененное состояние в каждый запрошенный момент времени. Ненулевой градиент показывает, что решатель остается частью обучаемых вычислений. Это опирается на концепции, охватываемые автоматическим дифференцированием PyTorch; сопоставимые системы градиентов доступны в TensorFlow и JAX.

Практические соображения#

Neural ODEs наиболее полезны, когда важны непрерывная эволюция, нерегулярные метки времени или известная динамическая структура. Они не становятся автоматически быстрее или точнее обычных слоев.

Допуски решателя должны быть проверены, поскольку свободные допуски могут снизить точность, в то время как строгие допуски могут вызвать множество вычислений функции. Жесткая или разрывная динамика также может сделать обучение медленным или нестабильным. Командам следует сравнить прямое дифференцирование с методами чувствительности сопряженных уравнений, отслеживать вычисления решателя и поведение градиента, а также проводить бенчмаркинг по сравнению с более простыми рекуррентными базовыми линиями или базовыми линиями пространства состояний. Производственные инструменты, такие как задокументированный слой Neural ODE в MATLAB, также открывают доступ к настройкам решателя и градиента, подчеркивая, что чистая конфигурация является важной частью модели.