Neural Tangent Kernel (NTK)

Ядро касательных нейронной сети (NTK) — это функция сходства, которая измеряет, как выходы нейронной сети для двух входных данных реагируют на одинаковые небольшие изменения параметров модели. Предсказания для входных данных тесно связаны, если их градиенты по параметрам направлены сходным образом. Это связывает обучение нейронных сетей с методами ядер, которые обучаются на основе попарного сходства примеров.

Артур Жако, Франк Габриэль и Клеман Хонглер ввели этот термин в 2018 году в работе Neural Tangent Kernel: Convergence and Generalization in Neural Networks, заложив математическую основу для анализа изменения предсказаний в ходе обучения.

Как работает ядро касательных нейронной сети#

Для нейронной сети с одним выходным значением вычисли производную выхода по каждому обучаемому параметру. Эти производные образуют вектор градиента, описывающий чувствительность предсказания к весам модели. Значение NTK для двух входных данных — это скалярное произведение их векторов градиента.

Для всего набора данных эти попарные значения образуют ядерную матрицу, также называемую матрицей Грама. Её диагональные элементы измеряют чувствительность каждого предсказания к изменениям параметров, а внедиагональные описывают связь между разными примерами. Для нескольких выходов каждой паре входных данных соответствует блок, содержащий взаимодействия между координатами выходов; такой подход используют при вычислении эмпирического NTK.

Во время градиентного спуска ядро определяет, как уменьшение ошибки предсказания для одного примера меняет предсказания для других примеров. Здесь используются градиенты выходов сети, а обратное распространение ошибки обеспечивает механизм дифференцирования. Затем функция потерь определяет направление и величину корректирующих обновлений.

Бесконечная ширина, сходимость и обобщающая способность#

Ширина сети — это число скрытых нейронов или каналов в свёрточном слое. При параметризации NTK и соответствующих предположениях об инициализации и обучении увеличение ширины скрытых слоёв до бесконечности приводит к детерминированному предельному ядру, которое остаётся неизменным во время обучения. Эмпирический NTK конечной сети вычисляют для её фактических параметров, и он может меняться по ходу обучения.

В режиме постоянного ядра обучение следует линейному приближению сети вблизи начальной точки. Это линеаризованная сеть: её предсказания линейно зависят от изменений параметров, сохраняя нелинейную зависимость от входных данных. Связанный термин ленивое обучение описывает режим, в котором касательные признаки меняются мало. При обучении признаков эти признаки существенно изменяются в процессе оптимизации.

При функции потерь на основе квадратичной ошибки и градиентном потоке с постоянным ядром — непрерывном пределе малых шагов градиентного спуска — ошибки быстрее уменьшаются вдоль собственных векторов ядра с большими собственными значениями. Собственные векторы задают закономерности в примерах, а собственные значения определяют скорость их обучения. Это объясняет, почему ранняя остановка служит регуляризацией: она ограничивает подгонку медленно обучаемых компонент, в том числе связанных с шумом и переобучением. Предсказания для невиданных ранее входных данных зависят от сходства этих данных с обучающими данными, измеренного ядром.

Применение и связанные понятия#

Методы NTK применяются в ядерной регрессии и при анализе классификации изображений. Свёрточное NTK (CNTK) распространяет эту конструкцию на свёрточные нейронные сети. Санджив Арора и его коллеги использовали точное вычисление CNTK для классификации на CIFAR-10, предложив основанную на ядрах альтернативу обучению конечных свёрточных сетей.

Ядро гауссовского процесса для нейронной сети (NNGP) описывает ковариацию выходов сети со случайной инициализацией в пределе бесконечной ширины. NTK описывает динамику обучения, обусловленную градиентами. Аналогично, при линейном пробировании линейный классификатор обучается на зафиксированных представлениях, а линеаризация NTK использует в качестве признаков производные по выбранным обучаемым параметрам.

Таким образом, выбор параметров меняет касательное ядро, определяющее ход обучения. При дообучении Ultralytics YOLO26 аргумент freeze фиксирует выбранные слои, поэтому их параметры не задают направления обновления в эффективном ядре обучения.

Вычисление эмпирического NTK#

В этом примере на PyTorch вычисляется ядро для двух изображений рукописных цифр из встроенного в scikit-learn набора данных digits. Установи зависимости с помощью pip install torch scikit-learn.

import torch
from sklearn.datasets import load_digits
from torch import nn

torch.manual_seed(0)
digits = load_digits()
inputs = torch.tensor(digits.data[:2], dtype=torch.float32) / 16
model = nn.Sequential(nn.Linear(64, 8), nn.Tanh(), nn.Linear(8, 1))
parameters = tuple(model.parameters())
outputs = model(inputs)

# Каждая строка якобиана содержит производные одного выхода по параметрам.
rows = []
for output in outputs[:, 0]:
    gradients = torch.autograd.grad(output, parameters, retain_graph=True)
    rows.append(torch.cat([gradient.flatten() for gradient in gradients]))
jacobian = torch.stack(rows)
kernel = jacobian @ jacobian.T
print(kernel)

Выведенная матрица размером 2 x 2 содержит две меры чувствительности для отдельных примеров и их взаимную связь. Поскольку она построена как jacobian @ jacobian.T, эмпирический NTK для скалярного выхода симметричен и положительно полуопределён, а его ранг ограничен как числом примеров, так и числом обучаемых параметров.