Mixed Precision

혼합 정밀도는 딥러닝 모델의 학습 속도를 가속화하고 메모리 소비를 줄이기 위해 사용되는 모델 최적화의 핵심 기술입니다. 이 방법은 서로 다른 숫자 형식(일반적으로 16비트 및 32비트 부동 소수점 유형)을 전략적으로 결합하여 머신러닝 알고리즘이 모델의 최종 정확도를 희생하지 않고 더 빠르게 계산을 수행할 수 있도록 합니다. 이는 현대 AI 개발, 특히 거대한 데이터셋에서 YOLO26 아키텍처를 학습시키는 것과 같은 자원 집약적인 작업에서 표준 관행이 되었습니다.

Link to this section혼합 정밀도의 작동 원리#

전통적인 딥러닝 워크플로에서 모델은 일반적으로 단정밀도 부동 소수점 형식(FP32)을 사용하여 계산을 수행합니다. FP32의 각 숫자는 32비트의 메모리를 필요로 합니다. 이 형식은 매우 정밀하지만 계산 비용이 많이 들고 메모리를 많이 소비할 수 있습니다.

혼합 정밀도는 16비트만 사용하는 반정밀도(FP16)의 도입을 가능하게 합니다. 그러나 FP16만 사용하면 더 작은 동적 범위로 인해 수치적 불안정성이 발생할 수 있습니다. 이를 해결하기 위해 혼합 정밀도 방식은 안정성을 위해 모델 가중치의 "마스터 복사본"을 FP32로 유지하면서, 합성곱 및 행렬 곱셈과 같은 무거운 수학적 연산에는 FP16을 사용합니다.

이 과정은 일반적으로 세 가지 주요 단계를 포함합니다:

1. 캐스팅(Casting): 모델의 입력과 활성화 값을 FP16으로 변환하여 NVIDIA Tensor Cores와 같은 호환 가능한 하드웨어에서의 실행 속도를 높입니다.

2. 손실 스케일링(Loss Scaling): 손실 함수 값을 증폭하여 작은 그래디언트 업데이트가 FP16에서 0이 되는 "언더플로우" 현상을 방지합니다.

3. 누적(Accumulation): 산술 연산은 FP16으로 수행하되, 마스터 가중치를 업데이트하기 전에 필요한 정보를 보존하기 위해 결과를 FP32로 누적합니다.

Link to this sectionAI 학습에서의 이점#

혼합 정밀도를 도입하면 컴퓨팅 자원을 효과적으로 활용하는 개발자와 연구자에게 상당한 이점을 제공합니다:

• 학습 속도 향상: FP16 연산은 메모리 대역폭을 덜 사용하며 최신 GPU에서 더 빠르게 처리됩니다. 이는 에포크에 필요한 시간을 상당 부분 단축할 수 있습니다.
• 메모리 사용량 감소: FP16 텐서는 FP32 메모리의 절반을 차지하므로, 개발자는 기본적으로 배치 크기를 두 배로 늘릴 수 있습니다. 더 큰 배치 크기는 종종 더 안정적인 그래디언트 추정과 더 빠른 수렴으로 이어집니다.
• 에너지 효율성: 연산 부하가 감소하면 에너지 소비도 낮아지는데, 이는 대규모 클라우드 학습 작업에서 매우 중요합니다.

Link to this section실제 애플리케이션 사례#

혼합 정밀도는 복잡한 모델과 대규모 데이터셋을 효율적으로 처리하기 위해 다양한 산업 전반에서 활용됩니다.

Link to this section자율 주행#

자율 주행 자동차 개발에서 엔지니어는 수백만 개의 고해상도 비디오 프레임으로 객체 탐지 모델을 학습시켜야 합니다. 혼합 정밀도를 사용하면 YOLO26과 같은 최첨단 모델을 효율적으로 학습할 수 있습니다. 메모리 사용량이 줄어들어 더 높은 해상도의 입력을 처리할 수 있게 되며, 이는 거리에서 교통 표지판이나 보행자와 같은 작은 객체를 탐지하는 데 매우 중요합니다.

Link to this section의료 영상 분석#

의료 영상 분석은 종종 MRI나 CT 스캔의 3D 볼륨 데이터를 포함하며, 이는 매우 메모리 집약적입니다. 전체 FP32 정밀도로 이 데이터에 대해 세그멘테이션 모델을 학습시키면 종종 "Out of Memory"(OOM) 오류가 발생합니다. 혼합 정밀도를 사용하면 연구자가 이러한 무거운 모델을 GPU 메모리에 적재할 수 있어, 질병을 조기에 진단하도록 의사를 돕는 AI 개발을 촉진할 수 있습니다.

Link to this sectionUltralytics와 함께하는 혼합 정밀도 구현#

PyTorch와 같은 최신 프레임워크는 일반적으로 AMP(Automatic Mixed Precision)라는 기능을 통해 혼합 정밀도의 복잡성을 자동으로 처리합니다. ultralytics 패키지는 최적의 성능을 보장하기 위해 학습 중에 AMP를 기본적으로 활성화합니다.

다음은 혼합 정밀도가 기본적으로 활성화된 상태( amp 인수를 통해 제어 가능)에서 YOLO26 학습을 시작하는 간결한 예시입니다:

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Link to this section혼합 정밀도 대 관련 개념#

혼동을 피하기 위해 용어집의 유사한 용어와 혼합 정밀도를 구분하는 것이 도움이 됩니다:

• 모델 양자화: 혼합 정밀도는 학습 중에 낮은 정밀도의 부동 소수점 숫자(FP16)를 사용하는 반면, 양자화는 일반적으로 배포를 위해 학습 후에 가중치를 정수(예: INT8)로 변환합니다. 양자화는 주로 엣지 기기에서의 추론 지연 시간에 초점을 맞추는 반면, 혼합 정밀도는 학습 속도와 안정성에 초점을 맞춥니다.
• 반정밀도: 이는 구체적으로 FP16 데이터 형식 자체를 의미합니다. 혼합 정밀도는 FP16과 FP32를 함께 사용하는 기술입니다. "혼합" FP32 마스터 복사본 없이 순수 반정밀도만 사용하면 수치적 오류로 인해 모델이 수렴하지 못하는 경우가 많습니다.

Link to this section결론#

혼합 정밀도는 신경망 학습 방식을 혁신했으며, 오늘날 우리가 보는 거대한 파운데이션 모델과 비전 시스템을 구현하는 데 핵심적인 역할을 합니다. 수학적 정밀도에 대한 요구와 하드웨어 속도 및 메모리의 제약 사이의 균형을 유지함으로써 개발자가 더 빠르게 반복하고 더 유능한 AI 솔루션을 구축할 수 있도록 합니다.

데이터셋을 관리하고 최적화된 모델을 원활하게 학습하려는 사용자를 위해, Ultralytics Platform은 이러한 현대적인 최적화 기술을 자동으로 활용하는 포괄적인 환경을 제공합니다.