하이퍼파라미터 튜닝

하이퍼파라미터 튜닝은 머신러닝(ML) 모델에 대한 최적의 구성 설정을 찾는 과정입니다. 하이퍼파라미터라고 하는 이러한 설정은 모델 외부에 있으며 학습 과정 중에 데이터로부터 직접 학습할 수 없습니다. 대신 학습이 시작되기 전에 설정되며 학습 과정 자체의 작동 방식을 제어합니다. 이러한 하이퍼파라미터를 효과적으로 튜닝하는 것은 모델 성능을 극대화하고 새로운 미지의 데이터에 일반화되도록 보장하는 데 중요한 단계입니다. 적절한 튜닝 없이는 가장 발전된 모델 아키텍처조차도 성능이 저하될 수 있습니다.

하이퍼파라미터 튜닝 vs. 관련 개념

ML에서 하이퍼파라미터 튜닝을 다른 핵심 개념과 구별하는 것이 중요합니다.

• 최적화 알고리즘: Adam 또는 Stochastic Gradient Descent(SGD)와 같은 최적화 알고리즘은 손실 함수를 최소화하기 위해 학습 중에 모델의 내부 파라미터(가중치 및 편향)를 조정하는 엔진입니다. 대조적으로 하이퍼파라미터 튜닝은 최적화 알고리즘 자체의 선택을 포함할 수도 있는 최상의 외부 설정을 선택하는 것과 관련됩니다.
• 신경망 구조 탐색(NAS): 하이퍼파라미터 튜닝이 주어진 모델 구조에 대한 설정을 최적화하는 반면, NAS는 레이어의 수와 유형을 결정하는 것과 같이 모델 아키텍처 자체의 설계를 자동화합니다. 둘 다 자동화된 머신 러닝(AutoML)의 형태이며 가능한 최상의 모델을 구축하기 위해 함께 사용되는 경우가 많습니다.
• 모델 파라미터: 이는 신경망에서 가중치 및 편향과 같이 역전파를 통해 학습 데이터로부터 학습되는 모델의 내부 변수입니다. 하이퍼파라미터는 이러한 파라미터가 학습되는 방식을 제어하는 상위 수준 설정입니다.

일반적인 튜닝 방법 및 하이퍼파라미터

전문가들은 최적의 하이퍼파라미터 값을 찾기 위해 여러 전략을 사용합니다. 일반적인 방법으로는 지정된 값의 모든 조합을 철저히 시도하는 그리드 검색, 조합을 무작위로 샘플링하는 랜덤 검색, 그리고 베이지안 최적화 및 진화 알고리즘과 같은 고급 방법이 있습니다.

가장 빈번하게 조정되는 하이퍼파라미터는 다음과 같습니다:

• 학습률(Learning Rate): 손실 기울기에 따라 모델 가중치가 조정되는 정도를 제어합니다.
• 배치 크기: 한 번의 반복에서 활용되는 학습 예제의 수입니다.
• Epoch 수: 전체 학습 데이터 세트가 모델을 통과하는 횟수입니다.
• 데이터 증강(Data Augmentation) 강도(Intensity): 회전, 스케일링 또는 색상 이동과 같이 학습 데이터에 적용되는 변환의 정도를 나타냅니다. Albumentations 라이브러리는 이를 위한 널리 사용되는 도구입니다.

실제 애플리케이션

하이퍼파라미터 튜닝은 최고 성능을 달성하기 위해 다양한 영역에서 적용됩니다.

• 의료 영상 분석: 종양 감지를 위한 모델을 훈련할 때 학습률 일정, 데이터 증강 설정 및 손실 함수 가중치와 같은 하이퍼파라미터를 조정하는 것은 특정 의료 데이터 세트에서 높은 감지 정확도를 달성하는 데 매우 중요합니다. 이는 신뢰할 수 있는 의료 AI 솔루션에 필수적이며 지속적인 연구 주제입니다.
• 자율 주행 차량: 자율 주행 자동차의 객체 탐지 모델은 신중한 조정이 필요합니다. 입력 이미지 해상도, NMS(Non-Maximum Suppression) 임계값 및 앵커 상자 구성과 같은 하이퍼파라미터를 최적화하면 시스템이 안전한 탐색을 위해 낮은 대기 시간으로 보행자와 장애물을 안정적으로 감지할 수 있습니다. 이러한 조정은 Waymo와 같은 회사에 매우 중요하며 강력한 자동차 솔루션의 AI에 기여합니다.

Ultralytics를 사용한 하이퍼파라미터 튜닝

Ultralytics는 다음을 위한 하이퍼파라미터 튜닝을 간소화하는 도구를 제공합니다. Ultralytics YOLO 모델. 그 Ultralytics Tuner class는, 다음에서 설명합니다. Hyperparameter Tuning 가이드, 진화 알고리즘을 사용하여 이 프로세스를 자동화합니다. 다음과 같은 플랫폼과의 통합 Ray Tune 은 분산 및 고급 검색 전략을 위한 추가 기능을 제공하여 사용자가 특정 데이터 세트(예: COCO) 및 작업입니다. 사용자는 다음과 같은 플랫폼을 활용할 수 있습니다. Ultralytics HUB 실험 추적 및 관리를 간소화하여 모범 사례를 따르는 데 중요한 부분입니다. 모델 학습. 다음과 같은 널리 사용되는 오픈 소스 라이브러리는 Optuna 및 Hyperopt 이러한 목적으로 ML 커뮤니티에서도 널리 사용됩니다.