경사 하강법(Gradient Descent)

그라디언트 하강은 가장 가파른 하강 방향으로 이동하여 함수를 최소화하는 데 사용되는 기본 반복 알고리즘입니다. 가장 가파른 하강 방향으로 이동하여 함수를 최소화하는 데 사용되는 기본 반복 알고리즘입니다. 다음과 같은 맥락에서 머신 러닝(ML) 및 딥 러닝(DL)의 맥락에서, 이는 모델이 정확한 결정을 내리도록 훈련하는 모델을 훈련시켜 정확한 예측을 하도록 하는 메커니즘 역할을 합니다. 주요 목표는 최적의 모델 가중치 세트를 최적의 모델 가중치 세트를 찾는 것입니다. 손실 함수를 최소화하는 최적의 모델 가중치 세트를 차이를 나타내는 손실 함수를 최소화하는 최적의 모델 가중치 세트를 찾는 것입니다. 이 프로세스를 등산객이 다음을 시도하는 것으로 시각화할 수 있습니다. 짙은 안개 속에서 계곡의 바닥을 찾으려는 등산객이 가장 가파른 아래쪽 경사 방향으로 반복적으로 발걸음을 내딛는 것으로 시각화할 수 있습니다, 등산객은 결국 가장 낮은 지점에 도달하게 됩니다. 이 핵심 개념에 대한 자세한 내용은 Google 머신러닝 단기 강좌에서 자세히 살펴보세요.

Gradient Descent는 어떻게 작동하나요?

그라디언트 하강의 핵심 메커니즘은 각 파라미터에 대한 손실 함수의 기울기를 계산하는 것입니다. 이 계산은 역전파 알고리즘을 통해 효율적으로 처리됩니다. 역전파 알고리즘으로 효율적으로 처리됩니다. 기울기가 결정되면 기울기가 결정되면 모델은 기울기의 반대 방향으로 한 걸음씩 이동하여 매개변수를 업데이트합니다. 이 단계의 크기는 의 크기는 중요한 파라미터인 학습 속도. 학습 속도가 너무 높으면 알고리즘이 최소값을 초과할 수 있고, 너무 낮으면 학습에 지나치게 오랜 시간이 걸릴 수 있습니다. 이 사이클 에포크라고 하는 데이터 세트의 여러 패스에 걸쳐 반복됩니다, 손실이 안정화될 때까지 반복됩니다. 수학적 관점에서, 칸 아카데미에서 제공하는 경사 하강에 대한 강의 강의를 제공합니다.

그라디언트 하강의 변형

계산 효율성과 수렴 속도의 균형을 맞추기 위해 다양한 알고리즘 변형이 존재합니다:

• 일괄 그라데이션 하강: 모든 업데이트의 전체 훈련 데이터를 사용하여 기울기를 계산합니다. 안정적인 업데이트를 제공하지만 대규모 데이터 세트의 경우 매우 느리고 메모리 집약적일 수 있습니다.
• 확률적 경사 하강SGD: 한 번에 하나의 무작위 샘플을 사용하여 가중치를 업데이트합니다. 이렇게 하면 노이즈가 발생하여 로컬 최소값을 벗어나는 데 도움이 될 수 있지만 을 벗어나는 데 도움이 되는 노이즈가 발생하지만 손실 곡선이 변동합니다. 자세한 내용은 SGD 대한 Scikit-Learn 문서에서 이 접근 방식에 대한 기술적 이 접근 방식에 대한 자세한 내용을 제공합니다.
• 미니 배치 그라데이션 하강: 데이터의 작은 하위 집합 또는 일괄 처리하여 일괄 경사 하강의 안정성과 배치 그라데이션 하강의 안정성과 SGD 속도 사이의 균형을 제공합니다. 이는 다음과 같은 최신 프레임워크의 표준 접근 방식입니다. PyTorch 와 TensorFlow.

다음은 교육용 옵티마이저를 구성하는 방법에 대한 간결한 예시입니다. Ultralytics YOLO11 모델입니다:

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model using the SGD optimizer with a specific learning rate
# The 'optimizer' argument allows you to select the gradient descent variant
results = model.train(data="coco8.yaml", epochs=50, optimizer="SGD", lr0=0.01)

실제 애플리케이션

그라디언트 디센트는 의료 및 헬스케어 분야의 다양한 혁신적 AI의 엔진입니다.

• 의료 이미지 분석: 다음과 같은 작업에서 종양 탐지, 그라디언트 하강은 컨볼루션 신경망(CNN)의 가중치를 반복적으로 조정하여 예측된 세분화 마스크와 영상의학 전문의의 근거 자료 사이의 오류를 최소화합니다. 오차를 최소화하기 위해 CNN의 가중치를 반복적으로 조정합니다. 이를 통해 의료 이미지 분석에서 높은 정밀도를 보장합니다. 의료 이미지 분석에서 높은 정밀도를 보장합니다.
• 자율 주행: 자율 주행 자동차는 보행자를 식별하기 위해 물체 감지 모델에 의존하여 보행자를 식별합니다, 차량 및 교통 신호를 식별합니다. 학습 중에 옵티마이저는 경계 상자 좌표에 대한 회귀 손실을 최소화하여 바운딩 박스 좌표의 회귀 손실을 최소화하여 차량이 다음을 수행할 수 있도록 합니다. 센티미터 수준의 정확도로 물체의 위치를 파악할 수 있습니다. 웨이모와 같은 업계 리더는 이러한 고급 최적화 기술을 사용하여 승객의 안전을 보장합니다.

경사 하강법 vs. 관련 개념

그라데이션 하강을 완전히 이해하려면 관련 용어와 구분해야 합니다. 반면 역전파는 그라데이션('방향' 결정)을 계산하는 반면, 그라데이션 하강은 의 최적화 알고리즘 최적화 알고리즘입니다. 실제로 파라미터를 업데이트합니다("단계"). 또한 표준 그라디언트 디센트에서는 일반적으로 은 고정된 학습 속도를 사용하지만, 적응형 알고리즘인 Adam 옵티마이저 와 같은 적응형 알고리즘은 학습 속도를 동적으로 조정하여 원래의 아담 연구 논문에서 설명한 대로 더 빠르게 수렴하는 경우가 많습니다. Adam 연구 논문. 다음과 같은 문제는 소실 경사 문제와 같은 과제는 표준 매우 깊은 네트워크에서 그라디언트 하강을 구현하는 데 방해가 될 수 있으므로 다음과 같은 아키텍처 솔루션이 필요합니다. 일괄 정규화 또는 잔여 연결. 이러한 최적화 과제에 대한 종합적인 개요는 다음에서 확인할 수 있습니다. 세바스찬 루더의 블로그.