BFloat16 (BF16)

BFloat16（Brain Floating Point）は、機械学習アプリケーション向けに最適化された16ビットのコンピューター数値形式です。Google Brainチームによって開発されたこの形式は、膨大な数のモデルの重みや勾配を効率的に処理するための特殊なアプローチを提供します。標準的な32ビット浮動小数点（FP32）とは異なり、BFloat16の数学的特性では、指数部に8ビット、分数部（仮数部）に7ビットを割り当てます。この独自の構造により、FP32とまったく同じダイナミックレンジを維持しながら精度を低減できるため、複雑な深層学習アーキテクチャに必要なメモリを実質的に半分にできます。また、従来の16ビット形式で見られがちな数値的不安定性も発生しにくくなっています。

BFloat16とFloat16（FP16）の比較：主な違い#

半精度形式を比較する際、BF16と、浮動小数点演算に関するIEEE標準に基づく標準FP16の違いは、AIエンジニアにとって重要です。

FP16は指数部に5ビット、仮数部に10ビットを使用します。この構造により、FP16は数値精度が高くなる一方で、ダイナミックレンジが大幅に狭くなります。そのため、FP16のトレーニングワークフローでは、勾配アンダーフロー（非常に小さな勾配の更新値がゼロになる状態）を防ぐために、複雑な損失スケーリング手法が必要になることがよくあります。BFloat16の8ビットの指数部は、FP32と同じダイナミックレンジを持つことでこの問題を解決します。つまり、開発者はハイパーパラメーターを調整したり損失をスケーリングしたりせずに、BF16をニューラルネットワークへシームレスに組み込めます。そのため、膨大な大規模言語モデル（LLMs）のトレーニングを安定させるための推奨形式となっています。詳しい数値仕様については、WikipediaのBFloat16ページでさらに確認できます。

深層学習トレーニングにおける利点#

最近のBFloat16を深層学習トレーニングに使用した研究では、全体的なトレーニングプロセスが大幅に高速化されることが示されています。テンソルの読み出しと保存に必要なメモリ帯域幅を削減することで、BFloat16を使用すると、既存のハードウェア上でバッチサイズを2倍にしたり、数十億のパラメーターを持つ基盤モデルへスケールアップしたりできます。興味深いことに、仮数部の精度がわずかに低下することで、トレーニング中に穏やかな正則化手法のように作用し、未知のデータに対するモデルの汎化能力が向上する場合もあります。現在では、最新の混合精度方式の中核となっています。

ハードウェアの互換性と実行#

BFloat16の速度面でのメリットを最大限に活用するには、専用のハードウェアサポートが必要です。Cloud TPUで高いパフォーマンスを実現でき、最新のNVIDIA GPUでは、NVIDIA Ampereアーキテクチャ（RTX 30シリーズ、A100、RTX A6000などのプロフェッショナルワークステーション向けカード）以降、より新しいNVIDIA Hopper世代やBlackwell世代に至るまで、ネイティブにアクセラレーションされます。

PyTorch自動混合精度（AMP）を備えたフレームワークを使用すると、開発者はtorch.autocastを利用して、対応する数学演算を専用のBF16 Tensor Coreへ自動的に割り当てられます。これにより、推論レイテンシを最小限に抑えながらスループットを最大化できます。

実環境におけるAIの応用#

BFloat16は、さまざまな分野で急速に業界標準になりつつあります。

• 生成AIとLLMs：OpenAIの最新の生成モデルをトレーニングする研究機関や、AnthropicのClaudeは、BFloat16を使用して最先端のネットワークをトレーニングしています。さらに、推論時のKVキャッシュにもBF16を使用します。この形式は、数百万件のチャットリクエストを同時に処理する際、クラウドコンピューティング環境でのメモリ枯渇を防ぐために重要です。
• 高解像度コンピュータービジョン：4K動画ストリームや大規模な衛星画像を処理する場合、VRAMの容量には厳しい制約があります。BFloat16を使用してUltralytics YOLO26のような高度なアーキテクチャを導入すると、セキュリティや製造の自動化システムは、NVIDIA Jetsonデバイスなど、ハードウェアに制約のあるエッジAI環境でも、厳格な精度要件を維持しながら高速な物体検出を実現できます。

UltralyticsでのBFloat16の実装#

PyTorchを基盤とするultralyticsパッケージを使用すると、BFloat16でのモデル実行を非常に簡単に行えます。以下に、モデルをロードし、BF16のautocastコンテキストブロック内で推論を実行する方法を示す簡潔な例を示します。

import torch
from ultralytics import YOLO

# Initialize the latest Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Verify that the active GPU architecture supports BFloat16
if torch.cuda.is_available() and torch.cuda.is_bf16_supported():
    # Use PyTorch autocast to run inference purely in BFloat16
    with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
        results = model.predict("https://ultralytics.com/images/bus.jpg")

        print("Inference completed successfully using BFloat16 precision.")

これらの最適化を簡単にスケールさせたいチーム向けに、Ultralytics Platformは、複雑なクラウドトレーニングパイプライン全体で精度形式を自動的に管理します。これにより、低レベルのハードウェアコードを管理しなくても、可能な限り優れた速度と精度を実現できます。