Grokking

Grokking은 딥러닝에서 신경망이 학습 데이터에 오버피팅된 것처럼 보이는 시점보다 훨씬 지난, 상당한 기간 동안 학습을 지속한 후에 검증 정확도가 급격히 향상되는 매혹적인 현상을 말합니다. 성능이 점진적으로 향상되는 표준적인 학습 곡선과 달리, grokking은 모델이 특정 예제의 암기에서 일반화 가능한 패턴의 이해로 전환되는 "상전이(phase transition)"를 수반합니다. 이 개념은 전통적인 "조기 종료(early stopping)" 지혜에 도전하며, large language models (LLM) 및 알고리즘 추론과 같은 특정 복잡한 작업에서는 학습을 지속하는 것이 진정한 지능을 끌어내는 핵심임을 시사합니다.

Grokking의 단계#

grokking 과정은 일반적으로 표준 experiment tracking 지표에 의존하는 실무자를 혼란스럽게 할 수 있는 두 가지 뚜렷한 단계로 전개됩니다. 초기에는 모델이 validation data에서의 성능이 저조하거나 정체된 상태로 유지되는 동안 training data의 손실을 빠르게 최소화합니다. 이로 인해 큰 일반화 격차가 발생하며, 이는 보통 overfitting으로 해석됩니다. 그러나 이 지점을 훨씬 지나서도 학습이 계속되면 신경망은 결국 기저 구조를 "grok"하게 되어 검증 손실이 급감하고 정확도가 급상승하게 됩니다.

최근 연구에 따르면 이러한 지연된 일반화는 neural network가 먼저 "빠르지만" 취약한 상관관계(암기)를 학습하고, 나중에야 "느리지만" 견고한 특징(일반화)을 발견하기 때문에 발생한다고 합니다. 이와 같은 동작은 OpenAI 및 Google DeepMind 연구원들의 논문에서 탐구된 바와 같이 loss function 랜드스케이프의 기하학과 최적화 동역학과 밀접한 관련이 있습니다.

Grokking과 과적합의 비교#

Grokking과 일반적인 과적합은 초기 단계에서는 유사해 보이지만 결과가 다르기 때문에 이 둘을 구분하는 것이 중요합니다.

• Overfitting: 모델이 학습 세트의 노이즈를 암기합니다. 학습이 진행됨에 따라 검증 오차가 증가하고 결코 회복되지 않습니다. 표준 regularization 기법이나 조기 학습 종료가 일반적인 해결책입니다.
• Grokking: 모델이 처음에는 암기하지만 결국 내부 model weights를 재구조화하여 더 간단하고 일반적인 솔루션을 찾습니다. 긴 정체기 이후 검증 오차가 극적으로 감소합니다.

이러한 차이를 이해하는 것은 Ultralytics YOLO26과 같은 최신 아키텍처를 학습할 때 매우 중요하며, 이 경우 어렵고 패턴이 많은 데이터셋에서 최대 성능을어내기 위해 조기 종료 메커니즘을 비활성화하는 것이 필요할 수 있습니다.

실제 애플리케이션 사례#

처음에는 작은 알고리즘 데이터셋에서 관찰되었지만, grokking은 실무적인 AI 개발에 중요한 시사점을 줍니다.

• Algorithmic Reasoning: 논리적 연역이나 수학적 연산(모듈러 덧셈 등)이 필요한 작업에서 모델은 grokking 단계를 거칠 때까지 일반화에 실패하는 경우가 많습니다. 이는 단순한 텍스트 흉내내기를 넘어 다단계 문제를 해결할 수 있는 reasoning models을 개발하는 데 매우 중요합니다.
• Compact Model Training: edge AI용 효율적인 모델을 만들기 위해 엔지니어들은 종종 더 오랜 기간 동안 더 작은 네트워크를 학습시킵니다. Grokking을 통해 이러한 컴팩트 모델은 Ultralytics Platform의 효율성 목표와 유사하게 압축되고 효율적인 데이터 표현을 학습할 수 있습니다.

모범 사례 및 최적화#

grokking을 유도하기 위해 연구원들은 종종 특정 최적화 전략을 활용합니다. 높은 learning rates와 상당한 weight decay(L2 정규화의 일종)는 상전이를 촉진하는 것으로 알려져 있습니다. 또한 데이터의 양도 중요한 역할을 합니다. grokking은 데이터셋 크기가 모델이 처리할 수 있는 임계값 경계에 정확히 위치할 때 가장 두드러지게 나타나며, 이는 double descent 현상과 관련된 개념입니다.

PyTorch와 같은 고성능 라이브러리를 사용할 때는 이러한 확장된 학습 실행 과정에서 수치적 안정성을 보장하는 것이 필수적입니다. 이 과정에는 상당한 연산 리소스가 필요하므로 Ultralytics Platform에서 효율적인 학습 파이프라인을 구축하는 것은 장기적인 실험을 관리하는 데 유용합니다.

코드 예제: 확장 학습 활성화#

잠재적인 grokking을 허용하려면 표준 조기 종료 메커니즘을 우회해야 하는 경우가 많습니다. 다음 예제는 에포크를 연장하고 패티언스(patience)를 비활성화하여 Ultralytics YOLO 학습 실행을 구성하는 방법을 보여주며, 모델이 암기에서 일반화로 전환할 수 있는 시간을 제공합니다.

from ultralytics import YOLO

# Load the state-of-the-art YOLO26 model
model = YOLO("yolo26n.pt")

# Train for extended epochs to facilitate grokking
# Setting patience=0 disables early stopping, allowing training to continue
# even if validation performance plateaus temporarily.
model.train(data="coco8.yaml", epochs=1000, patience=0, weight_decay=0.01)

관련 개념#

• Double Descent: 모델 크기나 데이터가 증가함에 따라 테스트 오차가 감소했다가, 증가하고, 다시 감소하는 관련 현상입니다.
• Generalization: 보지 못한 데이터에 대해 모델이 잘 수행하는 능력으로, grokking 과정의 궁극적인 목표입니다.
• Optimization Algorithms: 손실 랜드스케이프를 탐색하고 상전이를 촉진하는 데 사용되는 방법(SGD 또는 Adam 등)입니다.