Half-Precision

FP16으로도 자주 표기되는 반정밀도는 표준 단정밀도(FP32) 포맷이 32비트를 사용하는 것과 달리 컴퓨터 메모리의 16비를 차지하는 부동소수점 데이터 포맷입니다. 인공지능 및 머신러닝 분야에서 반정밀도는 메모리 소비를 크게 줄이면서 모델 학습과 추론을 가속화하는 데 사용되는 핵심 최적화 기법입니다. 신경망 model weights 및 그래디언트와 같은 수치 값을 더 적은 비트를 사용하여 저장함으로써 개발자는 더 큰 모델을 GPU graphics processing units에 탑재하거나 기존 모델을 훨씬 더 빠르게 실행할 수 있습니다. 이러한 효율성 향상은 YOLO26과 같은 최신 복잡한 아키텍처를 상당한 정확도의 저하 없이 리소스가 제한된 장치에 배포하는 데 필수적입니다.

부동 소수점 형식의 원리#

반정밀도를 이해하려면 완전 정밀도와 대조해 보는 것이 도움이 됩니다. 표준 32비트 부동소수점 수(FP32)는 지수와 가수 부에 더 많은 비트를 할당하므로 매우 넓은 동적 범위와 높은 수치 정밀도를 제공합니다. 그러나 딥러닝 모델은 작은 수치 오차에 대해 뛰어난 회복력을 갖는 것으로 잘 알려져 있습니다. Neural networks은 16비트 포맷이 제공하는 축소된 동적 범위와 세밀도 속에서도 대개 효과적으로 학습할 수 있습니다.

반정밀도로의 전환은 메모리 대역폭 요구사항을 절반으로 줄여줍니다. 이를 통해 학습 중에 더 큰 batch sizes를 사용할 수 있으며, 이는 그래디언트 업데이트를 안정화하고 전체 training process의 속도를 높일 수 있습니다. NVIDIA의 Tensor Core와 같은 현대식 하드웨어 가속기는 FP32보다 훨씬 빠른 속도로 FP16 행렬 곱셈을 수행하도록 특별히 최적화되어 있습니다.

AI 워크플로우에서의 주요 이점#

하프 프리시전 도입은 AI 실무자에게 다음과 같은 몇 가지 실질적인 이점을 제공합니다:

• 감소된 메모리 풋프린트: 모델이 절반의 VRAM(Video RAM)만 요구하므로, 개발자는 동일한 하드웨어에서 더 큰 네트워크를 학습시키거나 더 높은 해상도의 training data를 사용할 수 있습니다.
• 더 빠른 추론: autonomous vehicles 또는 비디오 분석과 같은 실시간 애플리케이션의 경우, FP16은 처리량(초당 프레임 수)을 두 배로 늘려 inference latency를 줄일 수 있습니다.
• 에너지 효율성: 더 적은 비트를 처리하므로 에너지가 덜 소모되며, 이는 배터리 수명이 제약이 되는 edge AI 장치 및 휴대폰에 매우 중요합니다.
• 혼합 정밀도 학습: 많은 최신 프레임워크는 안정성을 위해 모델 가중치의 마스터 복사본을 FP32로 유지하면서도 고부하 연산은 FP16으로 수행하는 mixed precision을 활용합니다. 이는 속도와 수렴 안정성이라는 두 마리 토끼를 모두 잡게 해줍니다.

실제 애플리케이션 사례#

하프 프리시전은 프로덕션 수준의 AI 시스템에서 어디에나 사용됩니다. 두 가지 구체적인 예시는 다음과 같습니다:

1. 엣지 디바이스에서의 실시간 객체 검출: 침입자 탐지를 위해 Ultralytics YOLO26을 실행하는 보안 카메라 시스템을 가정해 보겠습니다. 모델을 FP16으로 배포하면 NVIDIA Jetson이나 Raspberry Pi AI Kit과 같은 임베디드 칩에서 부드럽게 실행될 수 있습니다. 연산 부하가 줄어들기 때문에 시스템이 지연 없이 real-time inference 모드로 비디오 피드를 처리할 수 있으며, 이는 적시에 경고를 보내는 데 매우 중요합니다.

2. 대형 언어 모델(LLM) 배포: GPT-4 또는 Llama 파생 모델과 같은 생성형 AI 모델들은 수십억 개의 파라미터를 가지고 있습니다. 이러한 모델을 완전 정밀도(FP32)로 로드하려면 비용 부담이 큰 막대한 양의 서버 메모리가 필요합니다. 이 모델들을 FP16(또는 그보다 더 낮은 포맷)으로 변환함으로써 클라우드 제공업체는 수천 명의 사용자에게 동시에 foundation models을 서비스할 수 있으며, 챗봇 및 자동 콘텐츠 생성과 같은 서비스를 경제적으로 실현 가능하게 만듭니다.

하프 프리시전 vs. 양자화 (Quantization)#

두 기법 모두 모델 크기를 줄이는 것을 목표로 하지만, '반정밀도'를 model quantization과 구별하는 것은 중요합니다.

• 반정밀도(FP16): 비트 너비를 32에서 16으로 줄이지만 데이터를 부동소수점 숫자로 유지합니다. 합리적인 동적 범위를 유지하며 GPU training 및 추론을 위한 기본 선택인 경우가 많습니다.
• 양자화(INT8): 부동소수점 숫자를 정수(일반적으로 8비트)로 변환합니다. 이는 훨씬 더 큰 속도 및 메모리 절감 효과를 제공하지만, 주의 깊게 수행하지 않을 경우(예: quantization-aware training을 거치지 않는 경우) accuracy에서 더 두드러진 저하로 이어질 수 있습니다. FP16은 일반적으로 모델 성능을 유지하는 데 더 안전하며, INT8은 극단적인 최적화를 위해 사용됩니다.

Ultralytics를 사용한 하프 프리시전 구현#

ultralytics 라이브러리를 사용하면 반정밀도를 손쉽게 활용할 수 있습니다. 예측 과정에서 하드웨어가 지원하는 경우 모델이 자동으로 반정밀도로 전환될 수 있으며, 명시적으로 요청할 수도 있습니다.

다음은 YOLO26 모델을 로드하고 반정밀도를 사용하여 추론을 수행하는 방법을 보여주는 Python 예제입니다. half=True 환경에서 실행하려면 일반적으로 CUDA 지원 GPU가 필요합니다.

import torch
from ultralytics import YOLO

# Check if CUDA (GPU) is available, as FP16 is primarily for GPU acceleration
device = "cuda" if torch.cuda.is_available() else "cpu"

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image with half-precision enabled
# The 'half=True' argument tells the engine to use FP16
results = model.predict("https://ultralytics.com/images/bus.jpg", device=device, half=True)

# Print the device and precision status
print(f"Inference device: {results[0].orig_img.shape}, Speed: {results[0].speed}")

데이터셋과 학습 파이프라인을 관리하는 사용자를 위해 Ultralytics Platform은 클라우드에서 이러한 최적화 중 다수를 자동으로 처리하여 주석 작업부터 최적화된 모델 배포까지의 전환을 간소화합니다.

추가 읽기 및 리소스#

수치 포맷과 그것이 AI에 미치는 영향에 대해 더 자세히 알아보려면 Tensor Cores에 관한 NVIDIA Deep Learning Performance Documentation을 참고하세요. 이러한 최적화가 개발 라이프사이클에 어떻게 부합하는지에 대한 더 넓은 이해를 위해 machine learning operations (MLOps)에 대해 읽어보세요.

또한 서로 다른 최적화 전략 간의 트레이드오프에 관심이 있는 분들은 비트 정밀도를 줄이는 대신 연결을 제거하는 pruning을 살펴보거나, 디지털 산술의 기술 사양을 위해 IEEE Standard for Floating-Point Arithmetic (IEEE 754)을 탐색해 볼 수 있습니다. 이러한 기본 사항을 이해하면 프로덕션 환경을 위해 모델을 ONNX나 TensorRT 같은 포맷으로 내보낼 때 정보에 입각한 결정을 내리는 데 도움이 됩니다.