Model Merging

Model birleştirme, makine öğrenimi (ML) alanında, önceden eğitilmiş birden fazla modelin öğrenilmiş parametrelerini (ağırlıklarını) tek ve birleşik bir modelde birleştiren yenilikçi bir tekniktir. Geleneksel çok modelli kurulumların aksine, model ağırlıklarını doğrudan parametre uzayında birleştirir. Bu sayede uygulayıcılar, farklı görevler veya veri kümeleri üzerinde ince ayar yapılmış birkaç modelin uzmanlaşmış bilgisini, birden fazla modeli aynı anda çalıştırmanın bellek ve hesaplama maliyetlerine katlanmadan bir araya getirebilir.

Model birleştirme, işlemleri doğrudan ağırlıklara uygulayarak tek bir ağın mimari yapısını korur. Bu, gelişmiş bilgisayarlı görü (CV) işlem hatlarını, çıkarım gecikmesini azaltmanın ve bellekten tasarruf etmenin kritik olduğu uç cihazlara dağıtırken özellikle değerlidir.

Model Birleştirmeyi Ayırt Etme#

Model birleştirmeyi Model Topluluğu ve Aktarım Öğrenimi gibi ilgili kavramlardan ayırmak yararlıdır.

• Model Birleştirme ve Model Topluluğu Karşılaştırması: Model topluluğu, bağımsız ağları ayrı tutar; çıkarım sırasında her birini çalıştırır ve çıktılarını ortalar. Bu, doğruluğu artırır ancak hesaplama yükünü katlar. Model birleştirme ise gerçek ağırlıkları çıkarımdan önce birleştirir ve ek çalışma zamanı hesaplaması gerektirmeyen tek bir model oluşturur.
• Model Birleştirme ve Aktarım Öğrenimi Karşılaştırması: Aktarım öğrenimi, temel bir modeli alıp yeni bir veri kümesi üzerinde daha fazla eğitmeyi içerir. Model birleştirme ek ince ayar gerektirmez; zaten eğitilmiş modelleri birleştirmek için matematiksel işlemler kullanır.

Yaygın Teknikler#

Araştırmacılar, yakın tarihli arXiv akademik araştırmalarında incelendiği üzere, ağın temel yeteneklerini bozmadan ağırlıkları etkili bir şekilde birleştirmek için çeşitli yöntemler geliştirmiştir.

• Ağırlık Ortalaması: Aynı mimariyi paylaşan birden fazla modelin ağırlıklarının ortalamasını alan en basit yöntemdir.
• Görev Aritmetiği: Belirli davranışları birleştirmek veya ortadan kaldırmak için "görev vektörlerinin" (ince ayar yapılmış bir model ile temel modeli arasındaki fark) eklendiği ya da çıkarıldığı bir tekniktir.
• TIES-Merging: Gereksiz değerleri kırparak ve modeller arasında tutarlı işaretler seçerek parametre girişimini çözen, farklı görevlerde performansı koruyan gelişmiş bir yaklaşımdır.

Gerçek Dünya Uygulamaları#

Model birleştirme, sıfırdan yeniden eğitim yapmadan genelleştirilmiş sistemler oluşturmak için son derece etkilidir.

• Otonom Araçlar: Sürücüsüz bir otomobil, temel model olarak bir Ultralytics YOLO26 modeli kullanabilir. Mühendisler, bir model sürümünü yayaların ince hareketlerini algılamak, diğerini ise karmaşık trafik işaretlerini okumak üzere bağımsız olarak eğitebilir. Bu iki modelin birleştirilmesi, çıkarım süresini iki katına çıkarmadan her iki görevi aynı anda gerçekleştiren, yüksek yetenekli tek bir algılayıcı oluşturur.
• Sağlık Hizmetlerinde Yapay Zekâ: Tıbbi görüntülemede, katı veri gizliliği yasaları nedeniyle farklı araştırma hastaneleri modelleri uzmanlaşmış yerel veri kümeleri üzerinde (örneğin, biri MRI taramaları ve diğeri CT taramaları için) ince ayarlayabilir. Araştırmacılar, modelleri güvenli bir şekilde birleştirerek çeşitli veri dağılımlarından yararlanan kapsamlı bir tanı aracı oluşturabilir.

Örnek: Basit Ağırlık Ortalaması#

Temel model birleştirme işlemini PyTorch kullanarak kolayca gerçekleştirebilirsin. Aşağıdaki örnek, aynı yapıya sahip iki modelin durum sözlüklerinin nasıl ortalamasının alınacağını gösterir.

import torch

# Load the weights (state dicts) from two identical architectures
weights_a = torch.load("yolo26_task1.pt")["model"].state_dict()
weights_b = torch.load("yolo26_task2.pt")["model"].state_dict()

# Perform simple weight averaging
merged_weights = {k: (weights_a[k] + weights_b[k]) / 2.0 for k in weights_a.keys()}

# Save the newly merged model weights
torch.save({"model": merged_weights}, "yolo26_merged.pt")

Veri kümesi açıklama, eğitim ve dağıtım süreçlerini basitleştirmek isteyen ekipler için Ultralytics Platform, uçtan uca bilgisayarlı görü yapay zekâ projelerini zahmetsizce yönetmeye yönelik sezgisel bir arayüz sunar.