Neural Ordinary Differential Equations (Neural ODEs)

Las ecuaciones diferenciales ordinarias neuronales, o Neural ODEs, son redes neuronales que modelan cómo cambia un estado oculto de forma continua en lugar de pasarlo a través de una secuencia fija de capas. Definen una tasa de cambio aprendible, escrita como dh/dt = f(h, t, parámetros), y utilizan un solucionador numérico de ecuaciones diferenciales para evolucionar el estado desde un valor inicial hasta un tiempo solicitado. Intuitivamente, una red neuronal convencional aprende una pila de transformaciones, mientras que una Neural ODE aprende la trayectoria continua que conecta su entrada y su salida.

Cómo funcionan las Neural ODEs#

La función f suele ser una pequeña red neuronal llamada campo vectorial o función de dinámica. Dado el estado actual h y el tiempo opcional t, predice la dirección y la velocidad a las que debe moverse ese estado. Un solucionador de EDO evalúa repetidamente esta función e integra dichos cambios para estimar el estado más adelante.

Tres componentes definen el flujo de trabajo:

• Estado inicial: La entrada, la observación codificada o la condición conocida del sistema en el tiempo de inicio.
• Dinámica aprendida: Una función parametrizada que devuelve la derivada del estado en lugar del siguiente estado directamente.
• Integración numérica: Un algoritmo como el de Runge-Kutta que aproxima la trayectoria. La interfaz de EDO de solve_ivp ilustra cómo el software numérico convencional maneja los problemas de valor inicial.

Los solucionadores adaptativos pueden dar pasos pequeños cuando la dinámica cambia rápidamente y pasos más grandes en regiones más suaves. En consecuencia, el costo computacional depende de la dinámica aprendida, el método del solucionador, la longitud del intervalo y las tolerancias de error, no solo de un recuento de capas predeterminado. El ejemplo de Neural ODE con DiffEqFlux demuestra directamente esta formulación en tiempo continuo.

Diferencias con modelos relacionados#

• Redes residuales: Un bloque residual realiza una actualización discreta, como «estado actual más un cambio aprendido». Una Neural ODE puede verse como una extensión de profundidad continua en la que un solucionador de EDO determina las actualizaciones intermedias.

• Redes neuronales recurrentes: Las RNR actualizan su estado oculto en pasos de secuencia discretos. Las Neural ODEs evolucionan de manera continua y pueden consultar de forma natural estados en marcas de tiempo arbitrarias, aunque pueden requerir más computación.

• Modelos de espacio de estados: Ambos representan estados ocultos en evolución. Los modelos de espacio de estados suelen utilizar dinámicas discretas o continuas estructuradas para un procesamiento de secuencias eficiente, mientras que una Neural ODE coloca específicamente una red neuronal dentro de una resolución numérica de EDO.

• Operadores neuronales: Los operadores neuronales aprenden mapeos entre funciones o campos completos, a menudo a través de resoluciones espaciales variables. Las Neural ODEs suelen aprender la trayectoria de un estado de dimensión finita a partir de una condición inicial.

Las Neural ODEs también difieren de las redes neuronales informadas por la física. Una red informada por la física suele aproximar la solución de una EDO estando restringida por una ecuación conocida; una Neural ODE suele aprender toda la función derivada o parte de ella por sí misma.

Aplicaciones en el mundo real#

• Análisis de series temporales irregulares: Las mediciones hospitalarias, la telemetría de máquinas y los sensores ambientales pueden llegar a intervalos irregulares. Una Neural ODE puede hacer evolucionar un estado latente de paciente o máquina entre marcas de tiempo reales, lo que permite la interpolación, la predicción y la gestión de observaciones faltantes sin forzar cada muestra en una cuadrícula fija.

• Seguimiento de objetos y pronóstico de movimiento: Un sistema de visión puede utilizar Ultralytics YOLO26 para observar objetos o puntos clave en vídeo, y luego pasar las posiciones y velocidades a una Neural ODE independiente que modele el movimiento continuo. Esto puede ayudar a estimar trayectorias entre fotogramas o durante oclusiones breves. YOLO en sí mismo no es una Neural ODE; la EDO actúa como un modelo temporal posterior.

Para la parte de percepción de dichos sistemas, la plataforma Ultralytics admite la anotación de conjuntos de datos en la nube, el entrenamiento de modelos, el despliegue y la monitorización, mientras que la Neural ODE personalizada sigue siendo un componente de dinámica independiente.

Ejemplo diferenciable mínimo#

El paquete torchdiffeq proporciona solucionadores de EDO diferenciables para PyTorch. Después de ejecutar pip install torch torchdiffeq, este ejemplo crea un campo vectorial neuronal, integra un estado bidimensional y calcula un gradiente de entrenamiento:

import torch
from torch import nn
from torchdiffeq import odeint

torch.manual_seed(0)

dynamics = nn.Sequential(
    nn.Linear(2, 32),
    nn.Tanh(),
    nn.Linear(32, 2),
)

initial_state = torch.tensor([[1.0, 0.0]])
times = torch.linspace(0.0, 2.0, 21)

trajectory = odeint(lambda _time, state: dynamics(state), initial_state, times)
loss = trajectory[-1].square().mean()
loss.backward()

print(dynamics[0].weight.grad.norm())

La trayectoria de salida contiene el estado estimado en cada tiempo solicitado. El gradiente distinto de cero muestra que el solucionador sigue formando parte del cálculo entrenable. Esto se basa en los conceptos cubiertos por la diferenciación automática de PyTorch; hay sistemas de gradientes comparables disponibles en TensorFlow y JAX.

Consideraciones prácticas#

Las Neural ODEs son más útiles cuando importan la evolución continua, las marcas de tiempo irregulares o la estructura dinámica conocida. No son automáticamente más rápidas o precisas que las capas ordinarias.

Las tolerancias del solucionador deben validarse porque unas tolerancias laxas pueden reducir la precisión, mientras que unas tolerancias estrictas pueden desencadenar numerosas evaluaciones de funciones. Una dinámica rígida o discontinua también puede ralentizar o inestabilizar el entrenamiento. Los equipos deben comparar la diferenciación directa con los métodos de sensibilidad adjunta, monitorizar las evaluaciones del solucionador y el comportamiento del gradiente, y realizar evaluaciones comparativas frente a líneas base recurrentes o de espacio de estados más simples. Las herramientas de producción, como la capa de Neural ODE documentada de MATLAB, también exponen la configuración del solucionador y del gradiente, lo que subraya que la configuración numérica es una parte esencial del modelo.