Half-Precision

Yarı hassasiyet, genellikle FP16 olarak gösterilen ve standart 32 bit kullanan tek hassasiyetli (FP32) biçimin aksine 16 bit bilgisayar belleği kaplayan bir kayan noktalı veri biçimidir. Yapay zekâ ve makine öğrenimi bağlamında yarı hassasiyet, bellek tüketimini önemli ölçüde azaltırken model eğitimi ve çıkarımını hızlandırmak için kullanılan kritik bir optimizasyon tekniğidir. Sayısal değerleri (sinir ağı model ağırlıkları ve gradyanlar gibi) daha az bit kullanarak depolayan geliştiriciler, daha büyük modelleri GPU grafik işlem birimlerine sığdırabilir veya mevcut modelleri çok daha hızlı çalıştırabilir. Bu verimlilik kazanımı, önemli ölçüde doğruluktan ödün vermeden YOLO26 gibi modern ve karmaşık mimarilerin kaynakları kısıtlı cihazlarda dağıtılması için gereklidir.

Kayan Noktalı Biçimlerin İşleyişi#

Yarı hassasiyeti anlamak için onu tam hassasiyetle karşılaştırmak faydalıdır. Standart 32 bitlik kayan noktalı bir sayı (FP32), üstel ve mantis bölümlerine daha fazla bit ayırarak çok geniş bir dinamik aralık ve yüksek sayısal hassasiyet sağlar. Ancak derin öğrenme modelleri küçük sayısal hatalara karşı oldukça dayanıklıdır. Sinir ağları, 16 bitlik biçimin sunduğu azaltılmış dinamik aralık ve ayrıntı düzeyiyle bile çoğu zaman etkili biçimde öğrenebilir.

Yarı hassasiyete geçmek, bellek bant genişliği gereksinimini yarıya indirir. Bu, eğitim sırasında daha büyük toplu iş boyutlarına olanak tanır; gradyan güncellemelerini kararlı hâle getirebilir ve genel eğitim sürecini hızlandırabilir. NVIDIA'nın Tensor Cores gibi modern donanım hızlandırıcıları, matris çarpımlarını FP16 biçiminde FP32'ye kıyasla önemli ölçüde daha yüksek hızlarda gerçekleştirmek üzere özel olarak optimize edilmiştir.

Yapay Zekâ İş Akışlarındaki Temel Faydalar#

Yarı hassasiyetin benimsenmesi, yapay zekâ uygulayıcılarına çeşitli somut avantajlar sunar:

• Azaltılmış Bellek Ayak İzi: Modellerin gerektirdiği VRAM (Video RAM) miktarı yarıya iner; bu da geliştiricilerin aynı donanımda daha büyük ağları eğitmesine veya daha yüksek çözünürlüklü eğitim verilerini kullanmasına olanak tanır.
• Daha Hızlı Çıkarım: Otonom araçlar veya video analitiği gibi gerçek zamanlı uygulamalarda FP16, aktarım hızını (saniyedeki kare sayısını) iki katına çıkararak çıkarım gecikmesini azaltabilir.
• Enerji Verimliliği: Daha az bit işlemek daha az enerji gerektirir; bu, pil ömrünün kısıtlayıcı olduğu uç yapay zekâ cihazları ve cep telefonları için kritik öneme sahiptir.
• Karma Hassasiyetli Eğitim: Modern çerçevelerin çoğu, modelin kararlılık için ağırlıkların ana kopyasını FP32'de tuttuğu, ancak yoğun hesaplamaları FP16'da gerçekleştirdiği karma hassasiyetten yararlanır. Bu yaklaşım, hız ve yakınsama kararlılığını bir arada sunar.

Gerçek Dünya Uygulamaları#

Yarı hassasiyet, üretim sınıfı yapay zekâ sistemlerinde her yerde kullanılır. İşte iki somut örnek:

1. Uç Cihazlarda Gerçek Zamanlı Nesne Algılama: Davetsiz kişileri algılamak için Ultralytics YOLO26 çalıştıran bir güvenlik kamerası sistemi düşün. Modeli FP16'da dağıtmak, modelin NVIDIA Jetson veya Raspberry Pi AI Kit gibi gömülü bir çipte sorunsuz çalışmasını sağlar. Azaltılmış hesaplama yükü, sistemin video akışlarını gecikmeden gerçek zamanlı çıkarım modunda işlemesine olanak tanır; bu da zamanında uyarılar için hayati önem taşır.

2. Büyük Dil Modeli (LLM) Dağıtımı: GPT-4 veya Llama türevleri gibi üretken yapay zekâ modelleri milyarlarca parametreye sahiptir. Bu modelleri tam hassasiyetle (FP32) yüklemek, çoğu zaman maliyeti karşılanamayacak kadar yüksek miktarda sunucu belleği gerektirir. Bu modelleri FP16'ya (hatta daha düşük biçimlere) dönüştüren bulut sağlayıcıları, temel modelleri aynı anda binlerce kullanıcıya sunabilir; böylece sohbet botları ve otomatik içerik oluşturma gibi hizmetler ekonomik açıdan uygulanabilir hâle gelir.

Yarı Hassasiyet ve Niceleme Karşılaştırması#

Her iki teknik de model boyutunu azaltmayı amaçlasa da 'Yarı Hassasiyet' ile model nicelemesi arasındaki farkı belirtmek önemlidir.

• Yarı Hassasiyet (FP16): Bit genişliğini 32'den 16'ya düşürür, ancak verileri kayan noktalı sayı olarak tutar. Makul bir dinamik aralığı korur ve genellikle GPU eğitimi ile çıkarım için varsayılan tercihtir.
• Niceleme (INT8): Kayan noktalı sayıları tam sayılara (genellikle 8 bitlik) dönüştürür. Bu yöntem daha yüksek hız ve bellek tasarrufu sağlar, ancak dikkatli uygulanmadığında (örneğin niceleme farkındalıklı eğitim yoluyla) doğrulukta daha belirgin bir düşüşe neden olabilir. FP16, model performansını koruma açısından genellikle daha güvenliyken INT8, aşırı optimizasyon için kullanılır.

Ultralytics ile Yarı Hassasiyet Uygulama#

ultralytics kütüphanesi, yarı hassasiyetten yararlanmayı kolaylaştırır. Tahmin sırasında model, donanım destekliyorsa otomatik olarak yarı hassasiyete geçebilir veya bu mod açıkça istenebilir.

Aşağıda, bir YOLO26 modelinin nasıl yükleneceğini ve yarı hassasiyet kullanılarak çıkarım gerçekleştirileceğini gösteren bir Python örneği verilmiştir. half=True ile çalıştırmanın genellikle CUDA destekli bir GPU gerektirdiğini unutma.

import torch
from ultralytics import YOLO

# Check if CUDA (GPU) is available, as FP16 is primarily for GPU acceleration
device = "cuda" if torch.cuda.is_available() else "cpu"

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image with half-precision enabled
# The 'half=True' argument tells the engine to use FP16
results = model.predict("https://ultralytics.com/images/bus.jpg", device=device, half=True)

# Print the device and precision status
print(f"Inference device: {results[0].orig_img.shape}, Speed: {results[0].speed}")

Veri kümelerini ve eğitim işlem hatlarını yöneten kullanıcılar için Ultralytics Platformu, bu optimizasyonların çoğunu bulutta otomatik olarak gerçekleştirerek açıklama işleminden optimize edilmiş model dağıtımına geçişi kolaylaştırır.

İleri Okuma ve Kaynaklar#

Sayısal biçimler ve bunların yapay zekâ üzerindeki etkileri hakkında daha fazla bilgi edinmek için Tensor Cores ile ilgili NVIDIA Deep Learning Performance Documentation belgesine başvur. Bu optimizasyonların geliştirme yaşam döngüsüne nasıl uyduğunu daha kapsamlı anlamak için makine öğrenimi operasyonları (MLOps) hakkında bilgi edin.

Ayrıca farklı optimizasyon stratejileri arasındaki ödünleşimlerle ilgilenenler, bit hassasiyetini azaltmak yerine bağlantıları kaldıran budamayı inceleyebilir veya sayısal aritmetiğin teknik özellikleri için IEEE Kayan Noktalı Aritmetik Standardı (IEEE 754) belgesine başvurabilir. Bu temelleri anlamak, modelleri üretim ortamları için ONNX veya TensorRT gibi biçimlere aktarırken bilinçli kararlar vermene yardımcı olur.