Model Pruning

Model budama, gereksiz parametreleri sistematik olarak kaldırarak bir neural network boyutunu ve hesaplama karmaşıklığını azaltmak için makine öğreniminde kullanılan bir tekniktir. Bir bahçıvanın bir ağacın gelişmesini teşvik etmek için ölü veya aşırı büyümüş dalları budaması gibi, geliştiriciler de yapay ağaçları daha hızlı, daha küçük ve daha enerji verimli hale getirmek için budar. Bu süreç, akıllı telefonlar, gömülü sensörler ve uç bilgi işlem donanımı gibi sınırlı kaynaklara sahip cihazlarda modern deep learning mimarilerini devreye almak için esastır.

Model Budama Nasıl Çalışır#

Budamanın arkasındaki temel fikir, derin yapay sinir ağlarının genellikle "aşırı parametrelendirilmiş" olmasıdır; yani belirli bir sorunu çözmek için kesinlikle gerekli olandan önemli ölçüde daha fazla weights and biases içerirler. Eğitim süreci sırasında model çok sayıda bağlantı öğrenir, ancak bunların tümü nihai çıktıya eşit katkıda bulunmaz. Budama algoritmaları, bu gereksiz veya bilgi taşımayan bağlantıları (genellikle ağırlıkları sıfıra yakın olanları) belirlemek ve bunları kaldırmak için eğitilmiş modeli analiz eder.

Budanmış bir modelin yaşam döngüsü genellikle şu adımları izler:

1. Eğitim: Büyük bir model, karmaşık özellikleri yakalamak için yakınsamaya kadar eğitilir.

2. Budama: Düşük önem derecesine sahip parametreler sıfıra ayarlanır veya ağ yapısından fiziksel olarak kaldırılır.

3. Fine-Tuning: Kalan parametrelerin uyum sağlaması ve budama aşamasında kaybedilen accuracy değerini geri kazanması için model ikinci bir fine-tuning turundan geçer.

Bu metodoloji, yoğun ağların, izole bir şekilde eğitildiklerinde orijinal modele benzer doğruluk elde edebilen daha küçük, izole alt ağlar (kazanan biletler) içerdiğini öne süren Lottery Ticket Hypothesis ile sıklıkla ilişkilendirilir.

Budama Stratejileri Türleri#

Budama yöntemleri genellikle kaldırılan bileşenlerin yapısına göre sınıflandırılır.

• Unstructured Pruning: Bu yaklaşım, bir eşiğe (örneğin büyüklük) dayanarak modeldeki bireysel ağırlıkları herhangi bir yerde kaldırır. Bu, parametre sayısını etkili bir şekilde azaltırken, standart donanımın verimli bir şekilde işlemesi zor olabilecek sparse matrices ile sonuçlanır. Özel yazılım veya donanım hızlandırıcılar olmadan yapılandırılmamış budama önemli hız iyileştirmeleri sağlamayabilir.
• Structured Pruning: Bu yöntem, bir convolutional neural network (CNN) içindeki kanallar, filtreler veya katmanlar gibi tüm geometrik yapıları kaldırır. Yoğun matris yapısını koruyarak, budanan model standart GPU ve CPU donanımıyla uyumlu kalır ve bu da inference latency ile verimde doğrudan iyileşmelere yol açar.

Gerçek Dünya Uygulamaları#

Budama, bulut bağlantısının bulunmadığı veya çok yavaş olduğu ortamlarda gelişmiş modellerin çalışmasına izin vererek Edge AI için kritik bir kolaylaştırıcıdır.

• Mobile Object Detection: Gerçek zamanlı dil çevirisi veya artırılmış gerçeklik gibi mobil cihazlardaki uygulamalar, pil ömrünü korumak ve memory usage değerini azaltmak için budanmış modelleri kullanır. YOLO26 gibi optimize edilmiş mimariler, doğal verimlilikleri nedeniyle genellikle bu görevler için tercih edilen temellerdir.
• Automotive Safety: Sürücüsüz arabalar ve autonomous vehicles saniyenin onda biri kadar kısa sürede karar vermeyi gerektirir. Budanmış modeller, yerleşik bilgisayarların, verileri bir sunucuya iletmenin neden olduğu gecikme olmaksızın yaya algılama için yüksek çözünürlüklü kamera akışlarını işlemesine olanak tanır.
• Endüstriyel IoT: Üretimde, montaj hatlarındaki görsel denetim sistemleri kusurları tespit etmek için hafif modeller kullanır. Budama, bu sistemlerin pahalı sunucu rafları yerine uygun maliyetli mikro denetleyiciler üzerinde çalışabilmesini sağlar.

Budama ve İlgili Optimizasyon Teknikleri#

Model budama güçlü bir araç olsa da, genellikle diğer model optimization teknikleriyle karıştırılır veya bunlarla birlikte kullanılır.

• Pruning vs. Quantization: Budama, modeldeki parametrelerin (bağlantıların) sayısını azaltır. Buna karşılık, model quantization, örneğin 32 bitlik kayan noktalı sayıları 8 bitlik tamsayılara dönüştürerek bu parametrelerin hassasiyetini azaltır. Her ikisi de model deployment için verimliliği en üst düzeye çıkarmak üzere genellikle birleştirilir.
• Pruning vs. Knowledge Distillation: Budama, parçaları keserek orijinal modeli değiştirir. Knowledge distillation, daha büyük bir "öğretmen" modelin davranışını taklit etmek için tamamen yeni, daha küçük bir "öğrenci" modelin eğitilmesini içerir.

Uygulama Örneği#

Aşağıdaki Python örneği, PyTorch kullanarak yapılandırılmamış budamanın evrişimli bir katmana nasıl uygulanacağını göstermektedir. Bu, modelleri ONNX gibi optimize edilmiş formatlara aktarmadan önce yaygın bir adımdır.

import torch
import torch.nn as nn
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
module = nn.Conv2d(in_channels=1, out_channels=20, kernel_size=3)

# Apply unstructured pruning to remove 30% of the connections
# This sets the weights with the lowest L1-norm to zero
prune.l1_unstructured(module, name="weight", amount=0.3)

# Calculate and print the sparsity (percentage of zero elements)
sparsity = 100.0 * float(torch.sum(module.weight == 0)) / module.weight.nelement()
print(f"Layer Sparsity: {sparsity:.2f}%")

For users looking to manage the entire lifecycle of their datasets and models—including training, evaluation, and deployment—the Ultralytics Platform offers a streamlined interface. It simplifies the process of creating highly optimized models like YOLO26 and exporting them to hardware-friendly formats such as TensorRT or CoreML.