BFloat16 (BF16)

BFloat16 또는 Brain Floating Point는 머신 러닝 애플리케이션에 최적화된 16비트 컴퓨터 숫자 형식입니다. 원래 Google Brain 팀이 개발한 이 형식은 방대한 모델 가중치와 그래디언트 배열을 효율적으로 처리하기 위한 특화된 접근 방식을 제공합니다. 표준 32비트 부동소수점(FP32)과 달리 BFloat16의 수학적 특성은 지수에 8비트, 분수(가수)에 7비트를 할당합니다. 이러한 고유한 구조는 FP32와 정확히 동일한 동적 범위를 제공하면서 정밀도는 낮추므로, 오래된 16비트 형식에서 흔히 발생하는 수치 불안정성 없이 복잡한 딥 러닝 아키텍처의 메모리 요구량을 사실상 절반으로 줄입니다.

BFloat16과 Float16(FP16) 비교: 주요 차이점#

반정밀도 형식을 비교할 때 BF16과 IEEE 부동소수점 산술 표준에 기반한 표준 FP16의 차이는 AI 엔지니어에게 매우 중요합니다.

FP16은 지수에 5비트, 가수에 10비트를 사용합니다. 이 구조는 FP16에 더 높은 수치 정밀도를 제공하지만 동적 범위는 상당히 좁습니다. 따라서 FP16 학습 워크플로에서는 그래디언트 언더플로(미세한 그래디언트 업데이트가 0이 되는 상황)를 방지하기 위해 복잡한 손실 스케일링 기법이 필요한 경우가 많습니다. BFloat16의 8비트 지수는 FP32의 동적 범위와 일치하므로 이 문제를 해결합니다. 따라서 개발자는 하이퍼파라미터를 조정하거나 손실을 스케일링하지 않고도 BF16을 신경망에 원활하게 적용할 수 있으며, 이는 대규모 대규모 언어 모델(LLMs)의 학습을 안정화하는 데 선호되는 형식입니다. 자세한 수치 사양은 Wikipedia의 BFloat16 페이지에서 추가로 확인할 수 있습니다.

딥 러닝 학습의 이점#

최근 딥 러닝 학습을 위한 BFloat16 연구는 BFloat16이 전체 학습 프로세스를 크게 가속하는 방식을 보여줍니다. 텐서를 가져오고 저장하는 데 필요한 메모리 대역폭을 줄임으로써 BFloat16은 기존 하드웨어에서 배치 크기를 두 배로 늘리거나 10억 개의 파라미터를 가진 파운데이션 모델까지 확장할 수 있도록 합니다. 흥미롭게도 가수 정밀도의 약간의 감소는 학습 중 가벼운 정규화 기법처럼 작용하여, 때때로 모델이 보지 못한 데이터에 일반화하는 능력을 향상할 수 있습니다. 현재 BFloat16은 최신 혼합 정밀도 방식의 핵심 요소입니다.

하드웨어 호환성 및 실행#

BFloat16의 속도 이점을 충분히 활용하려면 전용 하드웨어 지원이 필요합니다. BFloat16은 Cloud TPU에서 높은 성능을 발휘하며, NVIDIA Ampere 아키텍처(RTX 30 시리즈, A100, RTX A6000과 같은 전문가용 워크스테이션 카드 등)부터 최신 NVIDIA Hopper 및 Blackwell 세대에 이르는 최신 NVIDIA GPU에서 네이티브로 가속됩니다.

PyTorch 자동 혼합 정밀도(AMP)를 지원하는 프레임워크를 사용하면 개발자는 torch.autocast을 활용하여 지원되는 수학 연산을 특수 BF16 Tensor Core를 통해 자동으로 라우팅할 수 있습니다. 이를 통해 추론 지연 시간을 최소화하면서 처리량을 극대화할 수 있습니다.

실제 환경의 AI 애플리케이션#

BFloat16은 다양한 분야에서 빠르게 업계 표준이 되고 있습니다.

• 생성형 AI 및 LLM: OpenAI의 최신 생성형 모델을 학습하는 연구 기관이나 Anthropic의 Claude는 BFloat16을 사용하여 최첨단 네트워크를 학습합니다. 또한 추론 중 KV 캐싱에도 BF16을 활용합니다. 이 형식은 수백만 건의 동시 채팅 요청을 처리할 때 클라우드 컴퓨팅 환경에서 메모리 고갈을 방지하는 데 매우 중요합니다.
• 고해상도 컴퓨터 비전: 4K 비디오 스트림이나 대규모 위성 이미지를 처리할 때는 VRAM 제한이 엄격합니다. BFloat16을 사용하여 Ultralytics YOLO26과 같은 고급 아키텍처를 배포하면, 자동화된 보안 또는 제조 시스템이 NVIDIA Jetson 디바이스와 같은 하드웨어 제약이 있는 엣지 AI 환경에서도 엄격한 정확도 요구 사항을 유지하면서 고속 객체 감지를 수행할 수 있습니다.

Ultralytics에서 BFloat16 구현하기#

PyTorch로 구동되는 ultralytics 패키지를 사용하면 BFloat16으로 모델을 실행하는 작업을 매우 간단하게 수행할 수 있습니다. 아래에는 모델을 로드하고 BF16 autocast 컨텍스트 블록 내에서 추론을 수행하는 방법을 보여주는 간결한 예제가 나와 있습니다.

import torch
from ultralytics import YOLO

# Initialize the latest Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Verify that the active GPU architecture supports BFloat16
if torch.cuda.is_available() and torch.cuda.is_bf16_supported():
    # Use PyTorch autocast to run inference purely in BFloat16
    with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
        results = model.predict("https://ultralytics.com/images/bus.jpg")

        print("Inference completed successfully using BFloat16 precision.")

이러한 최적화를 손쉽게 확장하려는 팀을 위해 Ultralytics Platform은 복잡한 클라우드 학습 파이프라인 전반에서 정밀도 형식을 자동으로 관리하므로, 사용자가 하위 수준의 하드웨어 코드를 직접 관리하지 않고도 최상의 속도와 정확도를 얻을 수 있도록 합니다.