하이퍼파라미터 튜닝

하이퍼파라미터 튜닝은 최적의 외부 구성 변수 세트를 발견하는 체계적인 프로세스입니다, 하이퍼파라미터로 알려진 최적의 외부 구성 변수 세트를 발견하는 체계적인 프로세스입니다. 머신 러닝(ML) 모델의 학습을 관리하는 체계적인 프로세스입니다. 내부 weights and biases 같은 모델 파라미터와 달리 학습 데이터에서 직접 학습하는 내부 모델 매개변수와 달리 하이퍼파라미터는 학습 전에 설정되며 프로세스 내내 일정하게 유지됩니다. 이 최적화 단계는 신경망의 기본 설정이 신경망의 기본 설정은 특정 데이터 세트에 대해 가능한 최상의 최상의 성능을 제공하는 경우가 드물기 때문에 이 최적화 단계는 매우 중요합니다. 데이터 과학자는 이러한 제어를 미세 조정함으로써 모델 정확도를 크게 향상시키고 정확도를 크게 향상시키고, 수렴 시간을 단축하며, 다음과 같은 문제를 방지할 수 있습니다. 과적합.

하이퍼파라미터의 역할

튜닝을 이해하려면 모델을 다양한 다이얼과 스위치가 있는 복잡한 기계로 시각화하는 것이 도움이 됩니다. 동안 기계가 스스로 원재료(데이터)를 완제품(예측)으로 처리하는 방법을 학습하는 반면, 작업자는 먼저 속도, 온도, 압력을 설정해야 합니다. 이러한 '다이얼'이 바로 하이퍼파라미터입니다.

자주 최적화 대상이 되는 일반적인 하이퍼파라미터는 다음과 같습니다:

• 학습률: 종종 가장 중요한 설정으로 가장 중요한 설정으로 간주되며, 이동하는 동안 최적화 알고리즘이 수행하는 최적화 알고리즘이 손실 함수의 최소값을 손실 함수에서 최소값을 향해 이동하는 동안 최적화 알고리즘이 취하는 단계 크기를 결정합니다. 학습 속도가 너무 높으면 모델이 최적의 솔루션을 오버슈팅할 수 있고, 너무 낮으면 학습 속도가 느려질 수 있습니다. 학습이 느려질 수 있습니다.
• 배치 크기: 이것은 한 번의 반복에 사용되는 를 정의합니다. 이를 조정하면 기울기 추정치의 안정성에 영향을 미치며 메모리 요구 사항에 영향을 미칩니다. GPU.
• 에포크: 전체 데이터에서 학습 알고리즘이 전체 데이터 세트에서 작동하는 횟수입니다. 적절한 균형을 찾으면 다음과 같은 문제를 피할 수 있습니다. 과소 적합 (너무 적은 에포크) 및 과적합 (너무 많은 에포크)을 피할 수 있습니다.
• 네트워크 아키텍처: 숨겨진 레이어의 수, 레이어당 뉴런 수, 또는 특정 유형의 레이어 또는 특정 유형의 활성화 함수 (예: ReLU, SiLU)에 관한 결정은 아키텍처 하이퍼파라미터이기도 합니다.

일반적인 튜닝 기법

방대한 검색 공간으로 인해 완벽한 설정 조합을 찾는 것이 어려울 수 있습니다. 실무자들은 몇 가지 표준 방법을 사용합니다. 고차원 공간:

• 그리드 검색: 이 철저한 메서드는 그리드에 지정된 알고리즘과 매개변수의 모든 조합에 대해 모델을 평가합니다. 철저하지만 계산 비용이 많이 들고 대규모 매개변수 집합에서는 비효율적인 경우가 많습니다.
• 무작위 검색: 모든 조합을 테스트하는 대신 를 테스트하는 대신 이 기법은 하이퍼파라미터의 무작위 조합을 선택하여 모델을 학습시킵니다. 연구 에 따르면 모든 하이퍼파라미터가 모델 성능에 똑같이 중요한 것은 아니기 때문에 무작위 검색이 그리드 검색보다 더 효율적인 경우가 많습니다. 모델 성능에 중요하기 때문입니다.
• 베이지안 최적화: 이것은 확률적 모델 기반 접근 방식으로, 목적 함수의 대리 모델을 구축합니다. 베이지안 최적화는 과거 평가를 기반으로 과거 평가를 기반으로 검색 공간에서 가장 유망한 영역에 초점을 맞춰 어떤 하이퍼파라미터가 최상의 결과를 가져올지 검색 공간.
• 진화 알고리즘: 생물학적 진화에서 영감을 얻은 이 방법은 돌연변이 및 크로스오버와 같은 메커니즘을 사용하여 여러 세대에 걸쳐 하이퍼파라미터 집합을 여러 세대에 걸쳐 진화시킵니다. 이 방법은 Ultralytics 튜너가 다음과 같은 모델을 최적화하는 데 사용하는 기본 방법입니다. YOLO11.

하이퍼파라미터 튜닝과 모델 트레이닝 비교

튜닝과 교육은 서로 구별되므로 이를 구분하는 것이 중요합니다. 단계이므로 튜닝과 트레이닝을 구분하는 것이 중요합니다:

• 모델 훈련: 모델이 레이블이 지정된 데이터를 반복하여 레이블이 지정된 데이터를 반복하여 내부 파라미터(가중치 및 편향)을 역전파를 통해 학습하는 과정입니다. 목표는 다음과 같습니다. 훈련 세트의 오류를 최소화하는 것입니다.
• 하이퍼파라미터 튜닝: 트레이닝을 시작하기 전에 구조 및 운영 설정을 선택하는 메타 프로세스 을 선택하는 메타 프로세스입니다. 목표는 다음과 같은 유효성 검사 지표를 최대화하는 것입니다. 평균 평균 정밀도(mAP), 보이지 않는 데이터에 대한 평균 평균 정확도(mAP)와 같은 검증 지표를 극대화하는 것입니다.

실제 애플리케이션

효과적으로 조정된 모델은 다양한 산업 분야에 강력한 AI 솔루션을 배포하는 데 있어 매우 중요합니다.

정밀 농업

농업용 AI에서는 컴퓨터 비전 모델이 탑재된 컴퓨터 비전 모델이 장착된 드론이 작물의 상태를 모니터링합니다. 이러한 모델은 배터리가 제한된 제한된 배터리와 처리 능력을 갖춘 처리 능력이 제한된 엣지 컴퓨팅 장치에서 실행됩니다. 여기서 하이퍼파라미터 튜닝은 모델 아키텍처를 최적화하는 데 사용됩니다(예: 레이어 깊이 감소). 및 입력 해상도를 최적화하는 데 사용됩니다. 이를 통해 시스템이 높은 추론 속도와 추론 속도와 충분한 탐지 잡초나 해충을 실시간으로 식별할 수 있습니다.

의료 진단

의료 분야의 AI, 특히 의료 이미지 분석에서 오탐은 생명을 위협할 수 있습니다. 엑스레이나 MRI 스캔에서 이상 징후를 감지할 때 엔지니어들은 데이터 증강 파이프라인과 관련된 하이퍼파라미터를 데이터 증강 파이프라인과 관련된 하이퍼파라미터를 적극적으로 조정하고 손실 함수의 클래스 가중치를 조정합니다. 이러한 튜닝은 모델의 리콜을 극대화하여 리콜을 극대화하여 미묘한 병리 징후까지도 사람이 검토할 수 있도록 플래그를 지정합니다.

Ultralytics 통한 자동화된 튜닝

그리고 ultralytics 라이브러리는 빌트인 기능을 포함하여 최적화의 복잡성을 단순화합니다. tuner 유전자 알고리즘을 활용한 검색 엔진입니다. 이를 통해 사용자는 모든 학습 실행에서 값을 수동으로 조정하지 않고도 사용자 지정 데이터 세트에 가장 적합한 하이퍼파라미터를 자동으로 검색할 수 있습니다.

다음 예시는 YOLO11 모델에 대한 하이퍼파라미터 튜닝을 시작하는 방법을 보여줍니다. 튜너는 여러 번의 반복에 걸쳐 하이퍼파라미터(학습 속도, 모멘텀, 가중치 감쇠 등)를 여러 차례 반복하여 성능을 최대화합니다.

from ultralytics import YOLO

# Initialize a YOLO11 model (using the 'nano' weight for speed)
model = YOLO("yolo11n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# This will run for 10 epochs per iteration, for a total of 30 iterations
model.tune(data="coco8.yaml", epochs=10, iterations=30, optimizer="AdamW", plots=False)

대규모 실험을 관리하는 고급 사용자의 경우, 다음과 같은 전용 플랫폼과 통합하거나 레이 튠과 같은 전용 플랫폼과 통합하거나 Weights & Biases 를 활용하면 튜닝 워크플로우를 더욱 간소화할 수 있습니다. 향후 YOLO26과 같은 아키텍처에 대한 R&D가 예정되어 있습니다, 자동화된 튜닝은 최첨단 성능을 효율적으로 달성하기 위한 초석으로 남아 있습니다.