Neural Ordinary Differential Equations (Neural ODEs)

Nöral Sıradan Diferansiyel Denklemler veya Neural ODE'ler, gizli bir durumu sabit bir katman dizisinden geçirmek yerine sürekli olarak nasıl değiştirdiğini modelleyen sinir ağlarıdır. dh/dt = f(h, t, parameters) olarak yazılan öğrenilebilir bir değişim hızı tanımlarlar ve durumu başlangıç değerinden istenen bir zamana evrimleştirmek için sayısal bir diferansiyel denklem çözücü kullanırlar. Sezgisel olarak, geleneksel bir sinir ağı bir dönüşüm yığını öğrenirken, bir Neural ODE girdisi ile çıktısı arasındaki sürekli yolu öğrenir.

Neural ODE'ler Nasıl Çalışır?#

f fonksiyonu genellikle vektör alanı veya dinamik fonksiyonu adı verilen küçük bir sinir ağıdır. Mevcut h durumunu ve isteğe bağlı t zamanını göz önüne alarak, bu durumun hangi yönde ve hızda hareket etmesi gerektiğini tahmin eder. Bir ODE çözücü, bu fonksiyonu tekrar tekrar değerlendirir ve durumun daha sonraki halini tahmin etmek için bu değişiklikleri entegre eder.

İş akışını üç bileşen tanımlar:

• Başlangıç durumu: Başlangıç zamanındaki girdi, kodlanmış gözlem veya bilinen sistem koşulu.
• Öğrenilmiş dinamikler: Sonraki durumu doğrudan döndürmek yerine durum türevini döndüren parametrelendirilmiş bir fonksiyon.
• Sayısal integrasyon: Yörüngeye yaklaşan Runge-Kutta gibi bir algoritma. solve_ivp ODE arayüzü, başlangıç değeri problemlerinin geleneksel sayısal yazılımlar tarafından nasıl ele alındığını gösterir.

Uyarlanabilir çözücüler, dinamiklerin hızlı değiştiği yerlerde küçük adımlar, daha düzgün bölgelerde ise daha büyük adımlar atabilir. Sonuç olarak, hesaplama maliyeti yalnızca önceden belirlenmiş bir katman sayısına değil; öğrenilen dinamiklere, çözücü yöntemine, aralık uzunluğuna ve hata toleranslarına bağlıdır. DiffEqFlux Neural ODE örneği, bu sürekli zaman formülasyonunu doğrudan göstermektedir.

İlgili Modellerden Farkları#

• Kalıntı Ağları: Bir kalıntı bloğu, "mevcut durum artı öğrenilen bir değişiklik" gibi ayrık bir güncelleme yapar. Bir Neural ODE, bir ODE çözücünün ara güncellemeleri belirlediği sürekli derinlikte bir uzantı olarak görülebilir.

• Yinelenen Sinir Ağları: RNN'ler gizli durumlarını ayrık dizi adımlarında günceller. Neural ODE'ler sürekli olarak evrimleşir ve daha fazla hesaplama gerektirebilmelerine rağmen rastgele zaman damgalarındaki durumları doğal olarak sorgulayabilir.

• Durum Uzayı Modelleri: Her ikisi de evrimleşen gizli durumları temsil eder. Durum uzayı modelleri verimli dizi işleme için genellikle yapılı ayrık veya sürekli dinamikler kullanırken, bir Neural ODE özellikle sayısal bir ODE çözümü içine bir sinir ağı yerleştirir.

• Nöral Operatörler: Nöral operatörler, genellikle değişen uzamsal çözünürlüklerde, tüm fonksiyonlar veya alanlar arasındaki eşlemeleri öğrenir. Neural ODE'ler genellikle sonlu boyutlu bir durumun yörüngesini başlangıç koşulundan öğrenir.

Neural ODE'ler ayrıca fiziğe dayalı sinir ağlarından farklıdır. Fiziğe dayalı bir ağ, bilinen bir denklemle kısıtlanırken genellikle bir ODE'nin çözümüne yaklaşır; bir Neural ODE ise genellikle türev fonksiyonunun tamamını veya bir kısmını kendi öğrenir.

Gerçek Dünya Uygulamaları#

• Düzensiz Zaman Serisi Analizi: Hastane ölçümleri, makine telemetrisi ve çevresel sensörler düzensiz aralıklarla gelebilir. Bir Neural ODE, gerçek zaman damgaları arasında gizli bir hasta veya makine durumunu evrimleştirebilir; bu sayede her örneği sabit bir ızgaraya zorlamadan enterpolasyonu, tahminlemeyi ve eksik gözlem yönetimini destekler.

• Nesne Takibi ve Hareket Tahmini: Bir görme sistemi, videodaki nesneleri veya anahtar noktaları gözlemlemek için Ultralytics YOLO26 kullanabilir, ardından konumları ve hızları sürekli hareketi modelleyen ayrı bir Neural ODE'ye aktarabilir. Bu, kareler arasındaki veya kısa süreli tıkanmalardaki yörüngeleri tahmin etmeye yardımcı olabilir. YOLO kendi başına bir Neural ODE değildir; ODE aşağı akış zamansal modeli olarak görev yapar.

Bu tür sistemlerin algılama kısmı için Ultralytics Platform, bulut veri seti etiketlemeyi, model eğitimini, dağıtımı ve izlemeyi desteklerken, özel Neural ODE ayrı bir dinamik bileşeni olarak kalmaya devam eder.

Minimum Türevlenebilir Örnek#

torchdiffeq paketi, PyTorch için türevlenebilir ODE çözücüleri sağlar. pip install torch torchdiffeq çalıştırıldıktan sonra, bu örnek bir nöral vektör alanı oluşturur, iki boyutlu bir durumu entegre eder ve bir eğitim gradyanı hesaplar:

import torch
from torch import nn
from torchdiffeq import odeint

torch.manual_seed(0)

dynamics = nn.Sequential(
    nn.Linear(2, 32),
    nn.Tanh(),
    nn.Linear(32, 2),
)

initial_state = torch.tensor([[1.0, 0.0]])
times = torch.linspace(0.0, 2.0, 21)

trajectory = odeint(lambda _time, state: dynamics(state), initial_state, times)
loss = trajectory[-1].square().mean()
loss.backward()

print(dynamics[0].weight.grad.norm())

Çıktı yörüngesi, istenen her zamandaki tahmini durumu içerir. Sıfırdan farklı gradyan, çözücünün eğitilebilir hesaplamanın bir parçası olmaya devam ettiğini gösterir. Bu, PyTorch otomatik diferansiyelleme tarafından kapsanan kavramlara dayanır; benzer gradyan sistemleri TensorFlow ve JAX içinde mevcuttur.

Pratik Hususlar#

Neural ODE'ler; sürekli evrim, düzensiz zaman damgaları veya bilinen dinamik yapı önem taşıdığında en yararlıdır. Sıradan katmanlardan otomasyonla daha hızlı veya daha doğru değillerdir.

Çözücü toleransları doğrulanmalıdır çünkü gevşek toleranslar doğruluğu azaltabilirken, katı toleranslar çok sayıda fonksiyon değerlendirmesini tetikleyebilir. Sert veya süreksiz dinamikler de eğitimi yavaş veya kararsız hale getirebilir. Ekipler, doğrudan diferansiyelleme ile eşlenik duyarlılık yöntemlerini karşılaştırmalı, çözücü değerlendirmelerini ve gradyan davranışını izlemeli ve daha basit yinelenen veya durum uzayı temellerine karşı kıyaslama yapmalıdır. MATLAB'ın belgelenmiş Neural ODE katmanı gibi üretim araçları da çözücü ve gradyan ayarlarını açığa çıkararak sayısal yapılandırmanın modelin temel bir parçası olduğunu vurgular.