Model Pruning

Model budama, gereksiz parametreleri sistematik olarak kaldırarak bir sinir ağının boyutunu ve hesaplama karmaşıklığını azaltmak için makine öğreniminde kullanılan bir tekniktir. Bir ağacın gelişmesini teşvik etmek için ölü veya aşırı büyümüş dalları budayan bir bahçıvan gibi, geliştiriciler de yapay ağları daha hızlı, daha küçük ve enerji açısından daha verimli hâle getirmek için budar. Bu süreç, modern derin öğrenme mimarilerini akıllı telefonlar, gömülü sensörler ve uç bilişim donanımı gibi kaynakları sınırlı cihazlarda dağıtmak için gereklidir.

Model Budama Nasıl Çalışır#

Budamanın temelindeki fikir, derin sinir ağlarının genellikle "aşırı parametreli" olmasıdır; yani belirli bir sorunu çözmek için kesinlikle gerekenden çok daha fazla ağırlık ve yanlılık içerirler. Eğitim sürecinde model çok sayıda bağlantı öğrenir, ancak bunların tümü nihai çıktıya eşit ölçüde katkıda bulunmaz. Budama algoritmaları, bu gereksiz veya bilgi taşımayan bağlantıları (genellikle ağırlıkları sıfıra yakın olanları) belirlemek için eğitilmiş modeli analiz eder ve bunları kaldırır.

Budanmış bir modelin yaşam döngüsü genellikle şu adımları izler:

1. Eğitim: Karmaşık özellikleri yakalamak için büyük bir model yakınsamaya kadar eğitilir.

2. Budama: Önem düzeyi düşük parametreler sıfıra ayarlanır veya ağ yapısından fiziksel olarak kaldırılır.

3. İnce Ayar: Budama aşamasında kaybedilen doğruluğu geri kazanmak ve kalan parametrelerin uyum sağlamasına olanak tanımak için model ikinci bir ince ayar turundan geçirilir.

Bu metodoloji genellikle, yoğun ağların tek başına eğitildiklerinde orijinal modelle karşılaştırılabilir doğruluk elde edebilen daha küçük, yalıtılmış alt ağlar (kazanan biletler) içerdiğini öne süren Piyango Bileti Hipotezi ile ilişkilendirilir.

Budama Stratejisi Türleri#

Budama yöntemleri genellikle kaldırılan bileşenlerin yapısına göre sınıflandırılır.

• Yapısal Olmayan Budama: Bu yaklaşım, bir eşik değerine (ör. büyüklük) göre modelin herhangi bir yerindeki tek tek ağırlıkları kaldırır. Parametre sayısını etkili bir şekilde azaltmasına rağmen, standart donanımların verimli bir şekilde işlemesini zorlaştırabilecek seyrek matrisler oluşturur. Özel yazılım veya donanım hızlandırıcıları olmadan yapısal olmayan budama, önemli hız artışları sağlamayabilir.
• Yapısal Budama: Bu yöntem, bir evrişimli sinir ağındaki (CNN) kanallar, filtreler veya katmanlar gibi geometrik yapıların tamamını kaldırır. Yoğun matris yapısı korunduğu için budanmış model standart GPU ve CPU donanımlarıyla uyumlu kalır; bu da çıkarım gecikmesinde ve veriminde doğrudan iyileşmeler sağlar.

Gerçek Dünya Uygulamaları#

Budama, Edge AI için kritik bir kolaylaştırıcıdır ve gelişmiş modellerin bulut bağlantısının kullanılamadığı veya çok yavaş olduğu ortamlarda çalışmasını sağlar.

• Mobil Nesne Algılama: Gerçek zamanlı dil çevirisi veya artırılmış gerçeklik gibi mobil cihazlardaki uygulamalar, pil ömrünü korumak ve bellek kullanımını azaltmak için budanmış modellerden yararlanır. YOLO26 gibi optimize edilmiş mimariler, doğaları gereği verimli oldukları için bu görevlerde çoğunlukla tercih edilen temel modellerdir.
• Otomotiv Güvenliği: Sürücüsüz otomobiller ve otonom araçlar saniyenin çok küçük bir bölümünde karar vermeyi gerektirir. Budanmış modeller, verilerin bir sunucuya aktarılmasından kaynaklanan gecikme olmadan yayaları algılamak için yerleşik bilgisayarların yüksek çözünürlüklü kamera akışlarını işlemesini sağlar.
• Endüstriyel IoT: Üretimde, montaj hatlarındaki görsel denetim sistemleri kusurları algılamak için hafif modeller kullanır. Budama, bu sistemlerin pahalı sunucu rafları yerine uygun maliyetli mikrodenetleyiciler üzerinde çalışmasını sağlar.

Budama ve İlgili Optimizasyon Teknikleri#

Model budama güçlü bir araç olsa da genellikle diğer model optimizasyonu teknikleriyle karıştırılır veya birlikte kullanılır.

• Budama ve Nicemleme: Budama, modeldeki parametrelerin (bağlantıların) sayısını azaltır. Buna karşılık model nicemleme, örneğin 32 bitlik kayan noktalı sayıları 8 bitlik tamsayılara dönüştürerek bu parametrelerin hassasiyetini azaltır. Her ikisi de model dağıtımında verimliliği en üst düzeye çıkarmak için sıklıkla birlikte kullanılır.
• Budama ve Bilgi Damıtma: Budama, parçaları kesip çıkararak orijinal modeli değiştirir. Bilgi damıtma ise daha büyük bir "öğretmen" modelinin davranışını taklit etmesi için tamamen yeni, daha küçük bir "öğrenci" modelinin eğitilmesini içerir.

Uygulama Örneği#

Aşağıdaki Python örneği, PyTorch kullanarak bir evrişim katmanına yapısal olmayan budamanın nasıl uygulanacağını gösterir. Bu, modelleri ONNX gibi optimize edilmiş biçimlere aktarmadan önce uygulanan yaygın bir adımdır.

import torch
import torch.nn as nn
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
module = nn.Conv2d(in_channels=1, out_channels=20, kernel_size=3)

# Apply unstructured pruning to remove 30% of the connections
# This sets the weights with the lowest L1-norm to zero
prune.l1_unstructured(module, name="weight", amount=0.3)

# Calculate and print the sparsity (percentage of zero elements)
sparsity = 100.0 * float(torch.sum(module.weight == 0)) / module.weight.nelement()
print(f"Layer Sparsity: {sparsity:.2f}%")

Eğitim, değerlendirme ve dağıtım da dâhil olmak üzere veri kümelerinin ve modellerinin tüm yaşam döngüsünü yönetmek isteyen kullanıcılar için Ultralytics Platform kolaylaştırılmış bir arayüz sunar. Platform, YOLO26 gibi yüksek düzeyde optimize edilmiş modeller oluşturma ve bunları TensorRT veya CoreML gibi donanım dostu biçimlere aktarma sürecini basitleştirir.