신경망에서 드롭아웃 레이어가 과적합을 방지하는 방식을 살펴보세요. Ultralytics 활용해 이 정규화 기법을 구현하여 정확도를 향상시키는 방법을 배워보세요.
드롭아웃 레이어는 신경망(NN) 에서 과적합이라는 만연한 문제를 해결하기 위해 사용되는 기본적인 정규화 기법이다. 유한한 예제 집합으로 모델을 훈련할 때, 모델은 근본적인 일반적 패턴을 식별하기보다 훈련 데이터의 잡음과 세부 사항을 암기하는 경향이 있습니다. 이러한 암기는 개발 단계에서는 높은 정확도를 보이지만, 새로운 미확인 입력에 대해서는 성능이 저하됩니다. 드롭아웃은 훈련 과정의 각 단계에서 레이어 내 뉴런의 일부를 무작위로 비활성화하거나 "드롭아웃(제외)"함으로써 이 문제를 해결합니다. Srivastava 등의 선구적인 연구 논문에서 소개된 이 단순하면서도 효과적인 전략은 딥러닝(DL) 아키텍처의 안정성과 성능을 크게 향상시켰습니다.
드롭아웃 레이어의 작동 원리는 직관적으로 스포츠 팀 훈련 중 일부 선수를 제외시켜 남은 선수들이 더 열심히 노력하고 단일 스타 선수에 의존하지 않도록 하는 것과 유사합니다. 모델 훈련 단계에서 해당 레이어는 0과 1로 구성된 확률적 마스크를 생성합니다. 드롭아웃 비율이 0.5로 설정되면, 특정 전파 및 역전파 과정에서 약 50%의 뉴런이 일시적으로 무시됩니다. 이 과정은 남아 있는 활성 뉴런들이 독립적으로 견고한 특징을 학습하도록 강제하여, 네트워크가 특정 뉴런에 지나치게 의존하는 것을 방지합니다. 이는 기계 학습(ML) 에서 특징 공동적응(feature co-adaptation)으로 알려진 현상입니다.
실시간 추론 또는 테스트 단계에서는 드롭아웃 레이어가 일반적으로 비활성화됩니다. 훈련된 모델의 전체 예측 능력을 활용하기 위해 모든 뉴런이 활성화된 상태로 유지됩니다. 총 활성화 값이 훈련 단계와 일관성을 유지하도록 하기 위해 프레임워크에서 가중치를 자동으로 스케일링하는 경우가 많습니다. PyTorch 와 같은 현대적인 라이브러리는 이러한 수학적 스케일링 작업을 원활하게 처리하여 개발자가 산술 연산보다는 아키텍처 설계에 집중할 수 있도록 합니다.
다음 사용자의 경우 ultralytics 패키지, 최첨단 모델에 드롭아웃 적용하기
YOLO26 훈련 인수를 조정하는 것만큼 간단합니다.
이는 특히 과적합 위험이 높은 소규모 데이터셋 작업 시 유용합니다.
무작위성을 도입함으로써 모델이 다양한 환경에서 더 잘 일반화하도록 유도할 수 있습니다.
from ultralytics import YOLO
# Load the latest YOLO26 model (recommended for new projects)
model = YOLO("yolo26n.pt")
# Train the model with a custom dropout rate of 0.1 (10%)
# This encourages the model to learn more generalized features
results = model.train(data="coco8.yaml", epochs=50, dropout=0.1)
드롭아웃은 사용 가능한 데이터에 비해 모델이 다량의 매개변수를 활용하는 인공지능(AI) 의 다양한 영역에서 필수적인 기법이다.
드롭아웃은 매우 효과적이지만, 종종 다른 기법과 함께 사용됩니다. 이는 네트워크 아키텍처 자체보다는 입력 이미지(예: 뒤집기 또는 회전)를 수정하는 데이터 증강과 구별됩니다. 마찬가지로, 학습을 안정화하기 위해 레이어 입력을 정규화하지만 뉴런을 명시적으로 비활성화하지 않는 배치 정규화와도 다릅니다.
복잡한 프로젝트의 경우 이러한 하이퍼파라미터 관리는 어려울 수 있습니다. Ultralytics 훈련 지표를 시각화하는 도구를 제공하여 사용자가 드롭아웃률이 검증 손실을 효과적으로 줄이고 있는지 판단할 수 있도록 지원함으로써 이를 간소화합니다. 사용자가 맞춤형 이미지 분류 시스템을 구축하든 정교한 세그멘테이션 파이프라인을 구축하든, 드롭아웃을 이해하는 것은 탄력적인 AI 시스템을 구축하는 핵심입니다.
.webp)