Neural Tangent Kernel (NTK)

신경 접선 커널(NTK)은 두 입력에 대한 신경망 출력이 모델 매개변수의 동일한 작은 변화에 어떻게 반응하는지 측정하는 유사도 함수입니다. 매개변수에 대한 그래디언트가 정렬되면 두 입력의 예측은 강하게 결합됩니다. 이는 예제 간 쌍별 유사도를 학습하는 커널 방법과 신경망 학습을 연결합니다.

Arthur Jacot, Franck Gabriel, Clément Hongler는 2018년에 신경 접선 커널: 신경망의 수렴과 일반화에서 이 용어를 처음 사용하고, 학습 중 예측이 어떻게 변화하는지 분석하는 수학적 프레임워크를 확립했습니다.

신경 접선 커널의 작동 방식#

스칼라 출력을 생성하는 신경망의 경우, 학습 가능한 모든 매개변수에 대한 출력의 미분을 계산합니다. 이러한 미분은 모델 가중치에 대한 예측의 민감도를 나타내는 그래디언트 벡터를 형성합니다. 두 입력 간 NTK는 두 그래디언트 벡터의 내적입니다.

데이터셋 전체에서 이러한 쌍별 값은 커널 행렬을 형성하며, 그람 행렬이라고도 합니다. 대각 성분은 각 예측의 매개변수 변화에 대한 민감도를 측정하고, 비대각 성분은 서로 다른 예제 간의 결합을 나타냅니다. 출력이 여러 개인 경우, 각 입력 쌍은 출력 좌표 간 상호작용을 담은 블록을 생성하며, 이는 경험적 NTK 계산에서 사용됩니다.

경사 하강법 중에는 커널이 한 예제의 예측 오류를 줄일 때 다른 예제의 예측이 어떻게 변하는지 결정합니다. 여기서 사용하는 그래디언트는 네트워크 출력의 미분이며, 역전파는 미분 계산을 수행합니다. 그런 다음 손실 함수가 오류를 보정하는 업데이트의 방향과 크기를 결정합니다.

무한 너비, 수렴 및 일반화#

네트워크의 너비는 은닉 유닛의 개수이며, 합성곱 레이어에서는 채널 수를 의미합니다. NTK 매개변수화와 적절한 초기화 및 학습 가정하에서 은닉 레이어의 너비를 무한대로 늘리면 학습 중에도 일정하게 유지되는 결정론적 극한 커널이 생성됩니다. 유한 네트워크의 경험적 NTK는 실제 매개변수에서 계산되며 학습이 진행됨에 따라 달라질 수 있습니다.

커널이 일정한 영역에서는 초기화 지점 주변의 네트워크 1차 근사를 따라 학습이 진행됩니다. 이를 선형화된 네트워크라고 하며, 입력에 대한 비선형 의존성은 유지하면서 매개변수 변화에 따라 예측이 선형적으로 달라집니다. 관련 용어인 지연 학습은 접선 특징이 거의 변하지 않는 영역을 설명합니다. 특징 학습에서는 최적화 과정 중 이러한 특징이 상당히 변화합니다.

커널이 일정한 경사 흐름, 즉 작은 경사 단계의 연속 시간 극한에서 제곱 오차 손실을 사용하면, 고유값이 큰 커널 고유벡터 방향으로 오류가 가장 빠르게 감소합니다. 고유벡터는 예제 전체에 걸친 패턴을 식별하고, 고유값은 해당 패턴의 학습 속도를 결정합니다. 이를 통해 조기 종료가 정규화로 작용하는 이유를 알 수 있습니다. 조기 종료는 노이즈 및 과적합과 관련된 성분을 비롯해 학습 속도가 느린 성분에 대한 피팅을 제한합니다. 보지 못한 입력에 대한 예측은 해당 입력과 학습 데이터 간의 커널 유사도에 따라 달라집니다.

응용 분야 및 관련 개념#

NTK 방법은 커널 회귀와 이미지 분류 분석에 활용됩니다. 합성곱 NTK(CNTK)는 이 구성을 합성곱 신경망으로 확장합니다. Sanjeev Arora와 동료들은 CIFAR-10 분류에 정확한 CNTK 계산을 사용하여 유한 합성곱 신경망 학습에 대응하는 커널 기반 방법을 제시했습니다.

신경망 가우시안 프로세스(NNGP) 커널은 무한 너비 한계에서 무작위로 초기화된 네트워크 출력 간의 공분산을 설명합니다. NTK는 그래디언트가 주도하는 학습 동역학을 설명합니다. 마찬가지로 선형 프로빙은 고정된 표현 위에서 선형 분류기를 학습하며, NTK 선형화는 선택한 학습 가능 매개변수에 대한 미분을 특징으로 사용합니다.

따라서 매개변수 선택에 따라 학습을 좌우하는 접선 커널이 달라집니다. Ultralytics YOLO26 미세 조정에서 freeze 인수는 선택된 레이어를 고정하므로, 해당 매개변수는 유효 학습 커널의 업데이트 방향에 기여하지 않습니다.

경험적 NTK 계산#

이 PyTorch 예제에서는 scikit-learn에 포함된 숫자 데이터셋의 손글씨 숫자 이미지 두 개에 대한 커널을 계산합니다. pip install torch scikit-learn를 사용해 종속 항목을 설치합니다.

import torch
from sklearn.datasets import load_digits
from torch import nn

torch.manual_seed(0)
digits = load_digits()
inputs = torch.tensor(digits.data[:2], dtype=torch.float32) / 16
model = nn.Sequential(nn.Linear(64, 8), nn.Tanh(), nn.Linear(8, 1))
parameters = tuple(model.parameters())
outputs = model(inputs)

# 각 야코비안 행에는 출력 하나의 매개변수 미분이 포함됩니다.
rows = []
for output in outputs[:, 0]:
    gradients = torch.autograd.grad(output, parameters, retain_graph=True)
    rows.append(torch.cat([gradient.flatten() for gradient in gradients]))
jacobian = torch.stack(rows)
kernel = jacobian @ jacobian.T
print(kernel)

출력된 2 x 2 행렬에는 두 입력 각각의 자기 민감도와 입력 간 상호 결합이 포함됩니다. jacobian @ jacobian.T으로 구성되므로 스칼라 출력 경험적 NTK는 대칭 양의 준정부호이며, 랭크는 예제 수와 학습 가능한 매개변수 수 모두에 의해 제한됩니다.