Neural Tangent Kernel (NTK)

Der neuronale Tangentialkern (NTK) ist eine Ähnlichkeitsfunktion, die misst, wie die Ausgaben eines neuronalen Netzes für zwei Eingaben auf dieselben kleinen Änderungen der Modellparameter reagieren. Die Vorhersagen der Eingaben sind stark gekoppelt, wenn ihre Parametergradienten in dieselbe Richtung zeigen. Dadurch wird das Training neuronaler Netze mit Kernelmethoden verknüpft, bei denen anhand paarweiser Ähnlichkeiten zwischen Beispielen gelernt wird.

Arthur Jacot, Franck Gabriel und Clément Hongler führten den Begriff 2018 in Neuronaler Tangentialkern: Konvergenz und Verallgemeinerung in neuronalen Netzen ein und schufen damit einen mathematischen Rahmen für die Analyse, wie sich Vorhersagen während des Trainings entwickeln.

Funktionsweise des neuronalen Tangentialkerns#

Berechne für ein skalares neuronales Netz die Ableitung der Ausgabe nach jedem trainierbaren Parameter. Diese Ableitungen bilden einen Gradientenvektor, der die Empfindlichkeit der Vorhersage gegenüber den Modellgewichten beschreibt. Der NTK zwischen zwei Eingaben ist das Skalarprodukt ihrer Gradientenvektoren.

Über einen Datensatz hinweg bilden diese paarweisen Werte eine Kernelmatrix, auch Gram-Matrix genannt. Ihre Diagonale misst die Empfindlichkeit jeder Vorhersage gegenüber Parameteränderungen; die Einträge außerhalb der Diagonale beschreiben die Kopplung zwischen verschiedenen Beispielen. Bei mehreren Ausgaben erzeugt jedes Eingabepaar einen Block, der die Wechselwirkungen zwischen den Ausgabekoordinaten enthält, wie bei der empirischen NTK-Berechnung.

Während des Gradientenabstiegs bestimmt der Kernel, wie die Verringerung des Vorhersagefehlers eines Beispiels die Vorhersagen an anderer Stelle verändert. Die relevanten Gradienten sind Ableitungen der Netzwerkausgaben; die Rückpropagation stellt die Berechnung der Ableitungen bereit. Die Verlustfunktion bestimmt anschließend Richtung und Stärke der fehlerkorrigierenden Aktualisierungen.

Unendliche Breite, Konvergenz und Verallgemeinerung#

Die Breite eines Netzwerks entspricht der Anzahl seiner verborgenen Einheiten oder der Kanäle in einer Faltungsschicht. Unter der NTK-Parametrisierung und bei geeigneter Initialisierung sowie passenden Trainingsannahmen ergibt sich bei einer Vergrößerung der Breite verborgener Schichten gegen unendlich ein deterministischer Grenzkernel, der während des Trainings konstant bleibt. Der empirische NTK eines endlichen Netzwerks wird mit seinen tatsächlichen Parametern berechnet und kann sich im Trainingsverlauf ändern.

Im Regime eines konstanten Kernels folgt das Training der Taylor-Approximation erster Ordnung des Netzwerks um die Initialisierung. Dies ist ein linearisiertes Netzwerk: Seine Vorhersagen hängen linear von Parameteränderungen ab, weisen aber weiterhin eine nichtlineare Abhängigkeit von den Eingaben auf. Der verwandte Begriff Lazy Training beschreibt ein Regime, in dem sich Tangentenmerkmale nur wenig verändern. Beim Feature Learning entwickeln sich diese Merkmale während der Optimierung erheblich weiter.

Bei einem konstanten Kernel-Gradientenfluss mit quadratischem Fehlerverlust – dem zeitkontinuierlichen Grenzfall kleiner Gradientenschritte – nehmen Fehler entlang der Kernel-Eigenvektoren mit größeren Eigenwerten am schnellsten ab. Eigenvektoren kennzeichnen Muster über Beispiele hinweg, und Eigenwerte bestimmen deren Lerngeschwindigkeit. Das erklärt, warum vorzeitiges Abbrechen als Regularisierung wirkt: Es begrenzt die Anpassung an langsam gelernte Komponenten, einschließlich solcher, die mit Rauschen und Überanpassung zusammenhängen. Vorhersagen für unbekannte Eingaben hängen von ihren Kernelähnlichkeiten zu den Trainingsdaten ab.

Anwendungen und verwandte Konzepte#

NTK-Methoden eignen sich für die Kernel-Regression und die Analyse der Bildklassifizierung. Der Faltungs-NTK (CNTK) erweitert die Konstruktion auf faltende neuronale Netze. Sanjeev Arora und Kollegen verwendeten eine exakte CNTK-Berechnung für die Klassifizierung auf CIFAR-10 und stellten damit ein Kernel-Pendant zum Training endlicher faltender neuronaler Netze bereit.

Der Kernel gaußscher Prozesse neuronaler Netze (NNGP) beschreibt die Kovarianz zwischen Ausgaben zufällig initialisierter Netzwerke im Grenzfall unendlicher Breite. Der NTK beschreibt die durch Gradienten gesteuerte Trainingsdynamik. Beim linearen Sondieren wird ebenfalls ein linearer Klassifikator auf eingefrorenen Repräsentationen trainiert; bei der NTK-Linearisierung dienen Ableitungen nach den ausgewählten trainierbaren Parametern als Merkmale.

Die Auswahl der Parameter verändert somit den Tangentialkern, der das Training bestimmt. Beim Feinabstimmen von Ultralytics YOLO26 hält das Argument freeze ausgewählte Schichten unverändert, sodass deren Parameter keine Aktualisierungsrichtungen zum effektiven Trainingskernel beitragen.

Einen empirischen NTK berechnen#

Dieses PyTorch-Beispiel berechnet den Kernel für zwei handgeschriebene Ziffernbilder aus dem mit scikit-learn gebündelten Zifferndatensatz. Installiere die Abhängigkeiten mit pip install torch scikit-learn.

import torch
from sklearn.datasets import load_digits
from torch import nn

torch.manual_seed(0)
digits = load_digits()
inputs = torch.tensor(digits.data[:2], dtype=torch.float32) / 16
model = nn.Sequential(nn.Linear(64, 8), nn.Tanh(), nn.Linear(8, 1))
parameters = tuple(model.parameters())
outputs = model(inputs)

# Jede Zeile der Jacobi-Matrix enthält die Parameterableitungen einer Ausgabe.
rows = []
for output in outputs[:, 0]:
    gradients = torch.autograd.grad(output, parameters, retain_graph=True)
    rows.append(torch.cat([gradient.flatten() for gradient in gradients]))
jacobian = torch.stack(rows)
kernel = jacobian @ jacobian.T
print(kernel)

Die ausgegebene 2 x 2-Matrix enthält die beiden Eigenempfindlichkeiten und ihre Kopplung zwischen den Beispielen. Da sie als jacobian @ jacobian.T konstruiert wird, ist der empirische NTK für skalare Ausgaben symmetrisch und positiv semidefinit; sein Rang ist sowohl durch die Anzahl der Beispiele als auch durch die Anzahl der trainierbaren Parameter begrenzt.