BFloat16 (BF16)

BFloat16 veya Beyin Kayan Noktası, makine öğrenimi uygulamaları için yoğun şekilde optimize edilmiş 16 bitlik bir bilgisayar sayı biçimidir. Başlangıçta Google Brain ekibi tarafından geliştirilen bu biçim, devasa model ağırlığı dizilerini ve gradyanları verimli şekilde işlemek için özel bir yaklaşım sunar. Standart 32 bitlik kayan nokta biçiminden (FP32) farklı olarak BFloat16'nın matematiksel özellikleri, üs için 8 bit ve kesir (mantis) için 7 bit ayırır. Bu benzersiz yapı, FP32 ile tamamen aynı dinamik aralığı daha düşük hassasiyetle sunar; böylece eski 16 bitlik biçimlerde sıkça görülen sayısal kararsızlık yaşanmadan karmaşık derin öğrenme mimarilerinin bellek gereksinimleri etkin şekilde yarıya iner.

BFloat16 ile Float16 (FP16) Karşılaştırması: Temel Farklar#

Yarım hassasiyetli biçimler karşılaştırılırken, BF16 ile IEEE Kayan Nokta Aritmetiği Standardı temel alınarak oluşturulan standart FP16 arasındaki fark, yapay zekâ mühendisleri için kritik öneme sahiptir.

FP16, üs için 5 bit ve mantis için 10 bit kullanır. Bu yapı, FP16'ya daha yüksek sayısal hassasiyet ancak önemli ölçüde daha dar bir dinamik aralık kazandırır. Bu nedenle FP16 eğitim iş akışları, gradyan taşmasını önlemek için genellikle karmaşık kayıp ölçekleme teknikleri gerektirir; gradyan taşması, çok küçük gradyan güncellemelerinin sıfıra dönüşmesi durumudur. BFloat16'nın 8 bitlik üssü, FP32'nin dinamik aralığıyla eşleşerek bu sorunu çözer. Böylece geliştiriciler, hiperparametreleri ayarlamadan veya kaybı ölçeklemeden BF16'yı sinir ağlarına sorunsuzca ekleyebilir; bu da onu devasa büyük dil modellerinin (LLM'ler) eğitimini kararlı hâle getirmek için tercih edilen biçim yapar. Ayrıntılı sayısal özellikler Wikipedia'nın BFloat16 sayfasında daha ayrıntılı şekilde incelenebilir.

Derin Öğrenme Eğitimi İçin Avantajlar#

Derin öğrenme eğitimi için BFloat16 üzerine yapılan son araştırmalar, genel eğitim sürecini nasıl büyük ölçüde hızlandırdığını ortaya koyuyor. BFloat16, tensörleri getirmek ve depolamak için gereken bellek bant genişliğini azaltarak uygulayıcıların mevcut donanımda yığın boyutlarını iki katına çıkarmasına veya milyarlarca parametre içeren temel modelleri ölçeklendirmesine olanak tanır. İlginç olarak, mantis hassasiyetindeki küçük azalma eğitim sırasında hafif bir düzenlileştirme tekniği gibi davranır ve bu da bazen bir modelin görülmemiş verilere genelleme yeteneğini iyileştirebilir. Günümüzde modern karma hassasiyet düzenlerinin temelini oluşturur.

Donanım Uyumluluğu ve Çalıştırma#

BFloat16'nın hız avantajlarından tam olarak yararlanmak için özel donanım desteği gerekir. Bulut TPU'larında yüksek performans sunar ve NVIDIA Ampere mimarisinden (RTX 30 serisi, A100 ve RTX A6000 gibi profesyonel iş istasyonu kartları dahil) başlayarak daha yeni NVIDIA Hopper ve Blackwell nesillerine kadar modern NVIDIA GPU'larında yerel olarak hızlandırılır.

PyTorch Otomatik Karma Hassasiyet (AMP) kullanan çerçevelerle geliştiriciler, desteklenen matematiksel işlemleri özel BF16 Tensor Core'ları üzerinden otomatik olarak yönlendirmek için torch.autocast öğesinden yararlanabilir. Bu, çıkarım gecikmesini en aza indirirken işlem hacmini en üst düzeye çıkarır.

Gerçek Dünya Yapay Zekâ Uygulamaları#

BFloat16, çok sayıda alanda hızla sektör standardı hâline geliyor:

• Üretken Yapay Zekâ ve LLM'ler: OpenAI'ın en yeni üretken modellerini eğiten araştırma kuruluşları veya Anthropic'in Claude'u, BFloat16 kullanarak en gelişmiş ağları eğitiyor. Ayrıca çıkarım sırasında KV önbelleğe alma için BF16'dan yararlanıyorlar. Bu biçim, milyonlarca eşzamanlı sohbet isteğine hizmet verilen bulut bilişim ortamlarında belleğin tükenmesini önlemek açısından kritik öneme sahiptir.
• Yüksek Çözünürlüklü Bilgisayarlı Görü: 4K video akışları veya büyük uydu görüntüleri işlenirken VRAM sınırları oldukça kısıtlıdır. Ultralytics YOLO26 gibi gelişmiş mimarileri BFloat16 kullanarak dağıtan otomatik güvenlik veya üretim sistemleri, NVIDIA Jetson cihazları gibi donanım kaynakları kısıtlı uç yapay zekâ kurulumlarında, katı doğruluk gereksinimlerini korurken yüksek hızlı nesne algılama gerçekleştirebilir.

Ultralytics ile BFloat16 Uygulama#

PyTorch tarafından desteklenen ultralytics paketi, modelleri BFloat16 ile çalıştırmayı son derece kolaylaştırır. Aşağıda, bir modelin nasıl yükleneceğini ve BF16 otomatik dönüştürme bağlam bloğu içinde çıkarımın nasıl gerçekleştirileceğini gösteren kısa bir örnek yer alıyor.

import torch
from ultralytics import YOLO

# Initialize the latest Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Verify that the active GPU architecture supports BFloat16
if torch.cuda.is_available() and torch.cuda.is_bf16_supported():
    # Use PyTorch autocast to run inference purely in BFloat16
    with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
        results = model.predict("https://ultralytics.com/images/bus.jpg")

        print("Inference completed successfully using BFloat16 precision.")

Bu optimizasyonları zahmetsizce ölçeklendirmek isteyen ekipler için Ultralytics Platformu, karmaşık bulut eğitim işlem hatlarında hassasiyet biçimlerini otomatik olarak yönetir ve kullanıcıların düşük seviyeli donanım kodunu yönetmesine gerek kalmadan mümkün olan en iyi hızı ve doğruluğu elde etmesini sağlar.