Mixed Precision

Karma duyarlılık (mixed precision), derin öğrenme modellerinin eğitimini hızlandırmak ve bellek tüketimini azaltmak için kullanılan model optimizasyonu alanında çok önemli bir tekniktir. Farklı sayısal formatları —genellikle 16 bit ve 32 bit kayan noktalı türleri— stratejik olarak birleştiren bu yöntem, makine öğrenimi algoritmalarının modelin nihai doğruluğundan ödün vermeden hesaplamaları daha hızlı gerçekleştirmesini sağlar. Bu yöntem, özellikle YOLO26 mimarisini devasa veri setleri üzerinde eğitmek gibi kaynak yoğun görevler için modern yapay zeka geliştirme süreçlerinde standart bir uygulama haline gelmiştir.

Karma Hassasiyet Nasıl Çalışır#

Geleneksel derin öğrenme iş akışlarında modeller, genellikle tek duyarlılıklı kayan noktalı formatı (FP32) kullanarak hesaplama yapar. FP32'deki her sayı, 32 bit bellek gerektirir. Oldukça hassas olmasına rağmen bu format, hesaplama açısından maliyetli ve çok fazla bellek tüketici olabilir.

Karma duyarlılık, yalnızca 16 bit kullanan yarı duyarlılık (FP16) kullanımını sunar. Ancak yalnızca FP16 kullanmak, daha küçük bir dinamik aralık nedeniyle sayısal kararsızlığa yol açabilir. Bunu çözmek için karma duyarlılık yöntemleri, evrişimler ve matris çarpımları gibi matematiksel işlemlerin ağır yükü için FP16 kullanırken kararlılığı korumak adına model ağırlıklarının bir "ana kopyasını" FP32 formatında tutar.

Süreç genellikle üç temel adımdan oluşur:

1. Dönüştürme (Casting): NVIDIA Tensor Cores gibi uyumlu donanımlarda yürütmeyi hızlandırmak için modelin girdilerini ve aktivasyonlarını FP16 formatına dönüştürme.

2. Kayıp Ölçekleme (Loss Scaling): Küçük gradyan güncellemelerinin FP16'da sıfır haline geldiği "alt akış" (underflow) durumunu önlemek için kayıp fonksiyonu değerlerini büyütme.

3. Biriktirme (Accumulation): Aritmetik işlemleri FP16'da gerçekleştirmek ancak ana ağırlıkları güncellemeden önce gerekli bilgileri korumak için sonuçları FP32'de biriktirmek.

Yapay Zeka Eğitimindeki Faydalar#

Karma duyarlılığı benimsemek, hesaplama kaynaklarını etkili bir şekilde kullanan geliştiriciler ve araştırmacılar için önemli avantajlar sağlar:

• Daha Hızlı Eğitim Hızı: FP16 formatındaki işlemler daha az bellek bant genişliği gerektirir ve modern GPU'lar tarafından daha hızlı işlenir. Bu, bir epoch için gereken süreyi önemli ölçüde kısaltabilir.
• Azaltılmış Bellek Kullanımı: FP16 tensörleri FP32'nin belleğinin yarısını kapladığından, geliştiriciler veri kümesi grubunu (batch size) esasen iki katına çıkarabilir. Daha büyük grup boyutları genellikle daha kararlı gradyan tahminlerine ve daha hızlı yakınsamaya yol açar.
• Enerji Verimliliği: Azaltılmış hesaplama yükü, büyük ölçekli bulut tabanlı eğitim operasyonları için çok önemli olan daha düşük enerji tüketimi anlamına gelir.

Gerçek Dünya Uygulamaları#

Karma hassasiyet, karmaşık modelleri ve büyük veri setlerini verimli bir şekilde yönetmek için çeşitli endüstrilerde kullanılmaktadır.

Otonom Sürüş#

Otonom araçların geliştirilmesinde mühendisler, nesne algılama modellerini milyonlarca yüksek çözünürlüklü video kareleri üzerinde eğitmek zorundadır. Karma duyarlılık kullanmak, YOLO26 gibi son teknoloji modelleri verimli bir şekilde eğitmelerine olanak tanır. Azaltılmış bellek kapladığı alan, trafik işaretleri veya yayalar gibi küçük nesneleri uzaktan algılamak için kritik önem taşıyan daha yüksek çözünürlüklü girdilerin işlenmesini sağlar.

Tıbbi Görüntü Analizi#

Tıbbi görüntü analizi, genellikle aşırı derecede bellek yoğun olan MRI veya BT taramalarından elde edilen 3D hacimsel verileri içerir. Bölütleme (segmentation) modellerini tam FP32 duyarlılığında bu veriler üzerinde eğitmek genellikle "Bellek Yetersiz" (OOM) hatalarına yol açar. Karma duyarlılık, araştırmacıların bu ağır modelleri GPU belleğine sığdırmasını sağlayarak doktorların hastalıkları daha erken teşhis etmesine yardımcı olabilecek yapay zekanın geliştirilmesini kolaylaştırır.

Ultralytics ile Karma Hassasiyeti Uygulama#

PyTorch gibi modern çerçeveler, Automatic Mixed Precision (AMP) adı verilen bir özellik aracılığıyla karma duyarlılığın karmaşıklıklarını genellikle otomatik olarak yönetir. ultralytics paketi, optimum performansı sağlamak için eğitim sırasında varsayılan olarak AMP'yi etkinleştirir.

Karışık duyarlılığın varsayılan olarak etkin olduğu (amp argümanıyla kontrol edilebilir) Ultralytics YOLO26 ile eğitime nasıl başlayacağının kısa bir örneğini aşağıda bulabilirsin:

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Karma Hassasiyet ve İlgili Kavramlar#

Karmaşayı önlemek için karma hassasiyeti sözlükteki benzer terimlerden ayırt etmek faydalıdır:

• Model Nicemleme (Model Quantization): Karma duyarlılık eğitim sırasında daha düşük duyarlılıklı kayan noktalı sayıları (FP16) kullanırken, nicemleme genellikle dağıtım için eğitimden sonra ağırlıkları tam sayılara (INT8 gibi) dönüştürür. Nicemleme birincil olarak uç cihazlardaki çıkarım gecikmesine odaklanırken, karma duyarlılık eğitim hızına ve kararlılığına odaklanır.
• Yarı Duyarlılık (Half Precision): Bu terim, özellikle FP16 veri formatının kendisini ifade eder. Karma duyarlılık ise FP16 ve FP32'yi birlikte kullanma tekniğidir. "Karışık" FP32 ana kopyası olmadan saf yarı duyarlılık kullanmak, genellikle sayısal hatalar nedeniyle modellerin yakınsamamasına neden olur.

Sonuç#

Karma duyarlılık, günümüzde gördüğümüz devasa temel modeller (foundation models) ve görme sistemleri için kritik bir etken görevi görerek sinir ağlarının eğitilme biçiminde devrim yaratmıştır. Matematiksel duyarlılık ihtiyacını donanım hızı ve bellek kısıtlamalarıyla dengeleyerek geliştiricilerin daha hızlı yineleme yapmasını ve daha yetenekli yapay zeka çözümleri oluşturmasını sağlar.

Veri setlerini yönetmek ve optimize edilmiş modelleri sorunsuz bir şekilde eğitmek isteyenler için Ultralytics Platform, bu modern optimizasyon tekniklerinden otomatik olarak yararlanan kapsamlı bir ortam sunar.