Grokking

그로킹은 딥러닝에서 나타나는 흥미로운 현상으로, 신경망이 상당히 오랜 기간 학습된 후—훈련 데이터를 과적합한 것처럼 보인 뒤에도 한참 시간이 지난 후인 경우가 많습니다—갑자기 검증 정확도가 크게 향상되는 현상을 의미합니다. 성능이 점진적으로 향상되는 일반적인 학습 곡선과 달리, 그로킹에서는 모델이 특정 예시를 암기하는 단계에서 일반화 가능한 패턴을 이해하는 단계로 전환되는 "상전이"가 발생합니다. 이 개념은 전통적인 "조기 중단" 원칙에 의문을 제기하며, 특히 대규모 언어 모델(LLMs)과 알고리즘 추론이 필요한 일부 복잡한 작업에서는 진정한 지능을 이끌어내기 위해 학습을 지속하는 것이 핵심임을 시사합니다.

그로킹의 단계#

그로킹 과정은 일반적인 실험 추적 지표에 의존하는 실무자를 혼란스럽게 할 수 있는 두 가지 뚜렷한 단계로 일반적으로 진행됩니다. 처음에는 모델이 훈련 데이터의 손실을 빠르게 최소화하는 반면, 검증 데이터에 대한 성능은 낮은 상태로 유지되거나 거의 변하지 않습니다. 이로 인해 일반적으로 과적합으로 해석되는 큰 일반화 격차가 발생합니다. 그러나 이 시점을 훨씬 넘어 학습을 계속하면 네트워크는 결국 underlying structure를 "그로크"하여 검증 손실이 급격히 감소하고 정확도가 급상승하게 됩니다.

최근 연구에 따르면 이러한 지연된 일반화는 신경망이 먼저 "빠르지만" 취약한 상관관계(암기)를 학습하고, 나중에야 "느리지만" 견고한 특징(일반화)을 발견하기 때문에 발생합니다. 이러한 동작은 손실 함수 지형의 기하학적 구조 및 최적화 동역학과 밀접하게 연관되어 있으며, OpenAI와 Google DeepMind의 연구자들이 작성한 논문에서 이를 탐구했습니다.

그로킹과 과적합 비교#

그로킹과 일반적인 과적합은 초기 단계에서는 유사하게 나타나지만 결과가 달라지므로, 두 현상을 구분하는 것이 매우 중요합니다.

• 과적합: 모델이 훈련 세트의 노이즈를 암기합니다. 학습이 진행될수록 검증 오류가 증가하며 다시 회복되지 않습니다. 일반적인 정규화 기법을 사용하거나 학습을 조기에 중단하는 것이 보통의 해결 방법입니다.
• 그로킹: 모델은 처음에는 암기하지만, 결국 내부 모델 가중치를 재구성하여 더 단순하고 일반적인 해법을 찾습니다. 긴 정체 구간 이후 검증 오류가 극적으로 감소합니다.

이러한 차이를 이해하는 것은 Ultralytics YOLO26과 같은 최신 아키텍처를 학습할 때 매우 중요합니다. 패턴이 풍부한 어려운 데이터셋에서 성능을 최대한 끌어내려면 조기 중단 메커니즘을 비활성화해야 할 수 있기 때문입니다.

실제 적용 사례#

그로킹은 처음에는 소규모 알고리즘 데이터셋에서 관찰되었지만, 실제 AI 개발에도 중요한 시사점을 제공합니다.

• 알고리즘 추론: 논리적 추론이나 수학적 연산(모듈러 덧셈 등)이 필요한 작업에서 모델은 그로킹 단계를 거치기 전까지 일반화에 실패하는 경우가 많습니다. 이는 단순히 텍스트를 모방하는 것이 아니라 여러 단계의 문제를 해결할 수 있는 추론 모델을 개발하는 데 매우 중요합니다.
• 컴팩트 모델 학습: 엣지 AI를 위한 효율적인 모델을 만들기 위해 엔지니어는 더 작은 네트워크를 장기간 학습하는 경우가 많습니다. 그로킹을 통해 이러한 컴팩트 모델은 Ultralytics Platform의 효율성 목표와 유사하게, 데이터의 압축되고 효율적인 표현을 학습할 수 있습니다.

모범 사례 및 최적화#

그로킹을 유도하기 위해 연구자들은 특정 최적화 전략을 자주 활용합니다. 높은 학습률과 상당한 가중치 감쇠(L2 정규화의 한 형태)는 상전이를 촉진하는 것으로 알려져 있습니다. 또한 데이터의 양도 영향을 미칩니다. 모델이 처리할 수 있는 한계점에 데이터셋 크기가 정확히 도달했을 때 그로킹이 가장 뚜렷하게 나타나며, 이는 더블 디센트 현상과 관련된 개념입니다.

PyTorch와 같은 고성능 라이브러리를 사용할 때는 장시간 학습 실행 중 수치적 안정성을 보장하는 것이 필수적입니다. 이 과정에는 상당한 컴퓨팅 리소스가 필요하므로, Ultralytics Platform에서 효율적인 학습 파이프라인을 구축하는 것이 장기간 실험을 관리하는 데 유용합니다.

코드 예제: 장시간 학습 활성화#

잠재적인 그로킹을 허용하려면 일반적인 조기 중단 메커니즘을 우회해야 하는 경우가 많습니다. 다음 예제에서는 확장된 epoch 수와 비활성화된 patience를 사용하여 Ultralytics YOLO 학습 실행을 구성하는 방법을 보여줍니다. 이를 통해 모델이 암기에서 일반화로 전환할 시간을 확보할 수 있습니다.

from ultralytics import YOLO

# Load the state-of-the-art YOLO26 model
model = YOLO("yolo26n.pt")

# Train for extended epochs to facilitate grokking
# Setting patience=0 disables early stopping, allowing training to continue
# even if validation performance plateaus temporarily.
model.train(data="coco8.yaml", epochs=1000, patience=0, weight_decay=0.01)

관련 개념#

• 더블 디센트: 모델 크기나 데이터가 증가함에 따라 테스트 오류가 감소했다가 증가한 후 다시 감소하는 관련 현상입니다.
• 일반화: 모델이 보지 못한 데이터에서도 우수한 성능을 발휘하는 능력으로, 그로킹 과정의 궁극적인 목표입니다.
• 최적화 알고리즘: 손실 지형을 탐색하고 상전이를 촉진하는 데 사용되는 방법(SGD 또는 Adam 등)입니다.