Half-Precision

Genellikle FP16 olarak adlandırılan yarım hassasiyet, 32 bit kullanan standart tek hassasiyetli (FP32) formatın aksine, bilgisayar belleğinde 16 bit yer kaplayan bir kayan noktalı veri formatıdır. Yapay zeka ve makine öğrenimi bağlamında yarım hassasiyet, model eğitimini ve çıkarımı hızlandırırken bellek tüketimini önemli ölçüde azaltmak için kullanılan kritik bir optimizasyon tekniğidir. Geliştiriciler, model ağırlıkları ve gradyanlar gibi sayısal değerleri daha az bit kullanarak saklayarak, daha büyük modelleri GPU grafik işleme birimlerine sığdırabilir veya mevcut modelleri çok daha hızlı çalıştırabilirler. Bu verimlilik artışı, YOLO26 gibi modern ve karmaşık mimarileri, doğruluktan önemli ölçüde ödün vermeden kaynak kısıtlı cihazlarda dağıtmak için gereklidir.

Link to this sectionKayan Noktalı Formatların Mekaniği#

Yarım hassasiyeti anlamak için onu tam hassasiyetle karşılaştırmak faydalıdır. Standart bir 32-bit kayan noktalı sayı (FP32), üs ve mantis kısmına daha fazla bit ayırarak çok geniş bir dinamik aralık ve yüksek sayısal hassasiyet sağlar. Ancak derin öğrenme modelleri, küçük sayısal hatalara karşı dirençli olmalarıyla bilinir. Sinir ağları genellikle 16-bit formatının sunduğu azaltılmış dinamik aralık ve ayrıntı düzeyiyle bile etkili bir şekilde öğrenme sağlayabilir.

Yarım hassasiyete geçiş, bellek bant genişliği gereksinimini yarıya indirir. Bu, eğitim sırasında daha büyük yığın boyutlarına olanak tanır ve bu da gradyan güncellemelerini stabilize edip genel eğitim sürecini hızlandırabilir. NVIDIA'nın Tensor Çekirdekleri gibi modern donanım hızlandırıcıları, matris çarpımlarını FP16'da FP32'den önemli ölçüde daha yüksek hızlarda gerçekleştirmek için özel olarak optimize edilmiştir.

Link to this sectionYapay Zeka İş Akışlarındaki Temel Avantajlar#

Yarım hassasiyetin benimsenmesi, yapay zeka uygulayıcıları için birkaç somut avantaj sunar:

• Azaltılmış Bellek Kullanımı: Modeller, yarı miktarda VRAM (Video RAM) gerektirir; bu da geliştiricilerin aynı donanım üzerinde daha büyük ağlar eğitmelerine veya daha yüksek çözünürlüklü eğitim verileri kullanmalarına olanak tanır.
• Daha Hızlı Çıkarım: Otonom araçlar veya video analitiği gibi gerçek zamanlı uygulamalar için FP16, verimi (saniyedeki kare sayısı) ikiye katlayarak çıkarım gecikmesini azaltabilir.
• Enerji Verimliliği: Daha az bit işlemek daha az enerji gerektirir; bu da pil ömrünün kısıtlı olduğu uç yapay zeka cihazları ve cep telefonları için hayati önem taşır.
• Karma Hassasiyetli Eğitim: Birçok modern çerçeve, modelin ağırlıkların ana kopyasını stabilite için FP32'de tuttuğu ancak ağır hesaplamaları FP16'da gerçekleştirdiği karma hassasiyeti kullanır. Bu, hız ve yakınsama kararlılığı açısından "her iki dünyanın da en iyisini" sunar.

Link to this sectionGerçek Dünya Uygulamaları#

Yarım hassasiyet, üretim düzeyindeki yapay zeka sistemlerinde yaygındır. İşte iki somut örnek:

1. Uç Cihazlarda Gerçek Zamanlı Nesne Algılama: İzinsiz girişleri tespit etmek için Ultralytics YOLO26 çalıştıran bir güvenlik kamerası sistemini düşün. Modeli FP16'da dağıtmak, onun bir NVIDIA Jetson veya Raspberry Pi AI Kit gibi gömülü bir çip üzerinde sorunsuz çalışmasını sağlar. Azaltılmış hesaplama yükü, sistemin video akışlarını gerçek zamanlı çıkarım modunda takılmadan işlemesini sağlar ki bu da zamanında uyarılar için kritiktir.

2. Büyük Dil Modeli (LLM) Dağıtımı: GPT-4 veya Llama varyantları gibi üretken yapay zeka modelleri milyarlarca parametreye sahiptir. Bu modelleri tam hassasiyette (FP32) yüklemek, genellikle maliyeti çok yüksek olan büyük miktarlarda sunucu belleği gerektirir. Bulut sağlayıcıları, bu modelleri FP16'ya (veya daha düşük formatlara) dönüştürerek temel modelleri binlerce kullanıcıya aynı anda sunabilir ve bu da sohbet robotları ile otomatik içerik üretimi gibi hizmetleri ekonomik olarak uygulanabilir kılar.

Link to this sectionYarım Hassasiyet ile Nicemleme Arasındaki Fark#

Her iki teknik de model boyutunu küçültmeyi amaçlasa da, 'Yarım Hassasiyet' ile model nicemleme arasını ayırmak önemlidir.

• Yarım Hassasiyet (FP16): Bit genişliğini 32'den 16'ya düşürür ancak veriyi kayan noktalı sayı olarak tutar. Makul bir dinamik aralığı korur ve genellikle GPU eğitimi ve çıkarımı için varsayılan tercihtir.
• Quantization (INT8): Converts floating-point numbers into integers (usually 8-bit). This offers even greater speed and memory savings but can sometimes lead to a more noticeable drop in accuracy if not done carefully (e.g., via quantization-aware training). FP16 is generally safer for preserving model performance, while INT8 is used for extreme optimization.

Link to this sectionUltralytics ile Yarım Hassasiyeti Uygulama#

ultralytics kütüphanesi, yarım hassasiyetten yararlanmayı oldukça kolaylaştırır. Tahmin sırasında model, donanım destekliyorsa otomatik olarak yarım hassasiyete geçebilir veya bu durum açıkça talep edilebilir.

İşte bir YOLO26 modelinin nasıl yükleneceğini ve yarım hassasiyet kullanılarak nasıl çıkarım yapılacağını gösteren bir Python örneği. half=True ile çalıştırmanın genellikle CUDA özellikli bir GPU gerektirdiğini unutma.

import torch
from ultralytics import YOLO

# Check if CUDA (GPU) is available, as FP16 is primarily for GPU acceleration
device = "cuda" if torch.cuda.is_available() else "cpu"

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image with half-precision enabled
# The 'half=True' argument tells the engine to use FP16
results = model.predict("https://ultralytics.com/images/bus.jpg", device=device, half=True)

# Print the device and precision status
print(f"Inference device: {results[0].orig_img.shape}, Speed: {results[0].speed}")

Veri kümelerini ve eğitim süreçlerini yöneten kullanıcılar için Ultralytics Platformu, bu optimizasyonların çoğunu bulutta otomatik olarak gerçekleştirerek ek açıklamadan optimize edilmiş model dağıtımına geçişi kolaylaştırır.

Link to this sectionDaha Fazla Okuma ve Kaynaklar#

Sayısal formatlar ve bunların yapay zeka üzerindeki etkisi hakkında daha fazla bilgi edinmek için Tensor Çekirdekleri ile ilgili NVIDIA Derin Öğrenme Performans Dokümantasyonu kısmına başvurabilirsin. Bu optimizasyonların geliştirme yaşam döngüsüne nasıl uyduğunu daha geniş bir çerçevede anlamak için makine öğrenimi operasyonları (MLOps) hakkında bilgi edinebilirsin.

Ek olarak, farklı optimizasyon stratejileri arasındaki dengelerle ilgilenenler, bit hassasiyetini düşürmek yerine bağlantıları kaldıran budama konusunu araştırabilir veya dijital aritmetiğin teknik özellikleri için IEEE Kayan Noktalı Aritmetik Standardı (IEEE 754) dokümanını inceleyebilirler. Bu temelleri anlamak, modelleri üretim ortamları için ONNX veya TensorRT gibi formatlara dışa aktarırken bilinçli kararlar vermeye yardımcı olur.