Half-Precision

반정밀도는 흔히 FP16으로 표시되며, 표준 단정밀도(FP32) 형식이 32비트를 사용하는 것과 달리 16비트의 컴퓨터 메모리를 차지하는 부동소수점 데이터 형식입니다. 인공지능과 머신러닝의 맥락에서 반정밀도는 메모리 사용량을 크게 줄이면서 모델 학습과 추론을 가속하는 데 사용되는 중요한 최적화 기법입니다. 수치 값(예: 신경망 모델 가중치 및 그래디언트)을 더 적은 비트로 저장하면 개발자는 더 큰 모델을 GPU 그래픽 처리 장치에 탑재하거나 기존 모델을 훨씬 더 빠르게 실행할 수 있습니다. 이러한 효율성 향상은 상당한 정확도 저하 없이 리소스가 제한된 디바이스에 YOLO26과 같은 최신의 복잡한 아키텍처를 배포하는 데 필수적입니다.

부동소수점 형식의 작동 원리#

반정밀도를 이해하려면 이를 완전 정밀도와 비교해 보는 것이 도움이 됩니다. 표준 32비트 부동소수점 수(FP32)는 지수와 가수에 더 많은 비트를 할당하므로 매우 넓은 동적 범위와 높은 수치 정밀도를 제공합니다. 그러나 딥러닝 모델은 작은 수치 오차에 매우 강한 것으로 잘 알려져 있습니다. 신경망은 16비트 형식이 제공하는 감소된 동적 범위와 세분성으로도 효과적으로 학습하는 경우가 많습니다.

반정밀도로 전환하면 메모리 대역폭 요구량이 절반으로 줄어듭니다. 따라서 학습 중 더 큰 배치 크기를 사용할 수 있으며, 이는 그래디언트 업데이트를 안정화하고 전체 학습 프로세스를 가속할 수 있습니다. NVIDIA의 Tensor Cores와 같은 최신 하드웨어 가속기는 FP32보다 훨씬 빠른 속도로 FP16 행렬 곱셈을 수행하도록 특별히 최적화되어 있습니다.

AI 워크플로의 주요 이점#

반정밀도를 도입하면 AI 실무자에게 다음과 같은 몇 가지 실질적인 이점이 제공됩니다:

• 메모리 사용량 감소: 모델에 필요한 VRAM(비디오 RAM)이 절반으로 줄어들어 개발자는 동일한 하드웨어에서 더 큰 네트워크를 학습하거나 더 높은 해상도의 학습 데이터를 사용할 수 있습니다.
• 더 빠른 추론: 자율주행 차량이나 비디오 분석과 같은 실시간 애플리케이션에서 FP16은 처리량(초당 프레임 수)을 두 배로 높여 추론 지연 시간을 줄일 수 있습니다.
• 에너지 효율: 더 적은 비트를 처리하면 에너지가 적게 소비되므로, 배터리 수명이 제약 조건인 엣지 AI 디바이스와 휴대전화에 매우 중요합니다.
• 혼합 정밀도 학습: 많은 최신 프레임워크는 혼합 정밀도를 활용합니다. 이 방식에서는 안정성을 위해 모델이 가중치의 마스터 사본을 FP32로 유지하면서도 고비용 연산은 FP16으로 수행합니다. 이를 통해 속도와 수렴 안정성이라는 "두 가지 장점"을 모두 얻을 수 있습니다.

실제 적용 사례#

반정밀도는 상용 수준의 AI 시스템에서 널리 사용됩니다. 다음은 두 가지 구체적인 예입니다:

1. 엣지 디바이스의 실시간 객체 감지: 침입자를 감지하기 위해 Ultralytics YOLO26을 실행하는 보안 카메라 시스템을 예로 들어 보겠습니다. 모델을 FP16으로 배포하면 NVIDIA Jetson이나 Raspberry Pi AI Kit와 같은 임베디드 칩에서 원활하게 실행할 수 있습니다. 줄어든 연산 부하 덕분에 시스템은 지연 없이 실시간 추론 모드로 비디오 피드를 처리할 수 있으며, 이는 적시에 경고를 제공하는 데 매우 중요합니다.

2. 대규모 언어 모델(LLM) 배포: GPT-4나 Llama 변형 모델과 같은 생성형 AI 모델에는 수십억 개의 파라미터가 있습니다. 이러한 모델을 완전 정밀도(FP32)로 로드하려면 막대한 서버 메모리가 필요하며, 이는 비용 측면에서 감당하기 어려운 경우가 많습니다. 이러한 모델을 FP16(또는 그보다 낮은 형식)으로 변환하면 클라우드 제공업체는 파운데이션 모델을 수천 명의 사용자에게 동시에 제공할 수 있어 챗봇과 자동 콘텐츠 생성과 같은 서비스를 경제적으로 운영할 수 있습니다.

반정밀도와 양자화 비교#

두 기법 모두 모델 크기를 줄이는 것을 목표로 하지만, '반정밀도'와 모델 양자화를 구분하는 것이 중요합니다.

• 반정밀도(FP16): 비트 폭을 32비트에서 16비트로 줄이지만 데이터를 부동소수점 수로 유지합니다. 합리적인 동적 범위를 유지하며 GPU 학습과 추론에 기본적으로 선택되는 경우가 많습니다.
• 양자화(INT8): 부동소수점 수를 정수(일반적으로 8비트)로 변환합니다. 이 방식은 더 큰 속도 향상과 메모리 절감을 제공하지만, 신중하게 수행하지 않으면(예: 양자화 인식 학습을 사용하지 않으면) 정확도가 눈에 띄게 저하될 수 있습니다. FP16은 일반적으로 모델 성능을 보존하는 데 더 안전한 반면, INT8은 극한의 최적화에 사용됩니다.

Ultralytics로 반정밀도 구현하기#

ultralytics 라이브러리를 사용하면 반정밀도를 간편하게 활용할 수 있습니다. 예측 중 하드웨어가 지원하는 경우 모델이 자동으로 반정밀도로 전환되며, 반정밀도 사용을 명시적으로 요청할 수도 있습니다.

다음은 YOLO26 모델을 로드하고 반정밀도를 사용해 추론을 수행하는 방법을 보여 주는 Python 예제입니다. half=True로 실행하려면 일반적으로 CUDA를 지원하는 GPU가 필요합니다.

import torch
from ultralytics import YOLO

# Check if CUDA (GPU) is available, as FP16 is primarily for GPU acceleration
device = "cuda" if torch.cuda.is_available() else "cpu"

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image with half-precision enabled
# The 'half=True' argument tells the engine to use FP16
results = model.predict("https://ultralytics.com/images/bus.jpg", device=device, half=True)

# Print the device and precision status
print(f"Inference device: {results[0].orig_img.shape}, Speed: {results[0].speed}")

데이터셋과 학습 파이프라인을 관리하는 사용자의 경우 Ultralytics Platform이 클라우드에서 이러한 최적화의 대부분을 자동으로 처리하여 어노테이션부터 최적화된 모델 배포까지의 전환을 간소화합니다.

추가 읽기 및 리소스#

수치 형식과 이것이 AI에 미치는 영향에 대해 자세히 알아보려면 Tensor Cores에 관한 NVIDIA 딥러닝 성능 문서를 참조하십시오. 이러한 최적화가 개발 수명 주기에 어떻게 적용되는지 폭넓게 이해하려면 머신러닝 운영(MLOps)에 대해 알아보십시오.

또한 다양한 최적화 전략 간의 트레이드오프에 관심이 있다면 비트 정밀도를 줄이는 대신 연결을 제거하는 가지치기를 살펴보거나, 디지털 산술의 기술 사양을 확인하기 위해 IEEE 부동소수점 산술 표준(IEEE 754)을 참조할 수 있습니다. 이러한 기본 사항을 이해하면 프로덕션 환경을 위해 모델을 ONNX 또는 TensorRT와 같은 형식으로 내보낼 때 정보에 입각한 결정을 내리는 데 도움이 됩니다.