Aritmetik Görevleri

Görev aritmetiği, önceden eğitilmiş sinir ağlarının davranışını belirli ağırlık güncellemeleri ekleyerek veya çıkararak değiştirmeyi içeren gelişmiş bir makine öğrenimi tekniğidir. Uygulayıcılar, bir modeli sıfırdan tamamen yeniden eğitmek yerine, temel model ile ince ayarlanmış model arasındaki öğrenilmiş farkları ayırabilirler. Bu farklar, esasen belirli bir yeteneği veya davranışı kapsayan yönlü güncellemelerdir. Geliştiriciler, bu güncellemelere toplama ve çıkarma gibi temel matematiksel işlemleri uygulayarak derin öğrenme sistemlerini dinamik olarak düzenleyebilirler. Bu paradigma, görev aritmetiği üzerine yapılan son arXiv araştırmalarında önemli bir ilgi görmüş ve büyük ölçekli modelleri yeni gereksinimlere uyarlamak için hafif, hesaplama açısından verimli bir yöntem sunmuştur.

Konsept Nasıl İşliyor?

Bu tekniğin temeli, önceden eğitilmiş bir temel model ile belirli bir veri kümesinde ince ayar işleminden geçirilmiş bir sürüm arasındaki model ağırlık farkının hesaplanmasına dayanır. Bu izole edilmiş fark, yeni becerinin yerelleştirilmiş bir temsili haline gelir. Mühendisler, PyTorch sözlüklerini doğrudan işleyerek veya TensorFlow metodolojilerini kullanarak, bu ağırlık farklarını ölçeklendirebilir ve birleştirebilir. Örneğin, belirli bir ağırlık güncellemesini çıkarmak, bir modeli öğrenilmiş bir davranışı "unutmaya" zorlayabilir; bu kavram, model güvenliği üzerineAnthropic yoğun bir şekilde incelenmiştir.

Gerçek Dünya Uygulamaları

Aritmetik işlemleri, modern bilgisayar görme ve doğal dil işleme iş akışlarında birçok son derece verimli iş akışının önünü açar:

• Çoklu Görev Yeteneklerinin Birleştirilmesi: Mühendisler, Ultralytics temel modelini iki ayrı veri kümesinde bağımsız olarak eğitebilir—biri özel nesne algılama, diğeri ise görüntü sınıflandırması için. Her iki görev için ağırlık farklarını hesaplayıp bunları temel modele geri ekleyerek, ortaya çıkan ağ, felaket düzeyinde unutma sorunu yaşamadan her iki görevi de aynı anda gerçekleştirebilir.
• Yapay Zeka Güvenliği için Hedefli Unutma: Bir görsel model, eğitim verilerinden istemeden önyargılı özellikler öğrenirse, araştırmacılar önyargılı veriler üzerinde bir kopyayı ince ayarlayabilir, belirli ağırlık farklılıklarını çıkarabilir ve bunları orijinal modelden çıkarabilir. Çeşitli Google keşiflerinde belirtildiği gibi, bu yöntem, modelin genel yapay zeka yeteneklerini korurken istenmeyen davranışları etkili bir şekilde ortadan kaldırır.

İlgili Kavramların Farklılaştırılması

IEEE Xplore arşivlerinde veya ACM dijital kütüphanesinde gezinirken, görev aritmetiğini ilgili metodolojilerle karıştırmak kolaydır:

• Görev Vektörleri: Bunlar, aritmetik işlem sırasında kullanılan gerçek matematiksel tensörlerdir (hesaplanan ağırlık farkları). Görev aritmetiği, bu vektörlerin toplanması veya çıkarılmasından oluşan genel çerçevedir.
• Model Birleştirme: Bu, birden fazla modeli birleştirmeyi ifade eden daha geniş bir terimdir. Aritmetik, modelleri birleştirmenin bir yolu olmakla birlikte, birleştirme işlemi aynı zamanda karmaşık yönlendirme ağlarını veya toplama yöntemlerini de içerebilir.
• Aktarım Öğrenimi: Wikipedia'daki aktarım öğrenimi kavramlarına göre, bu, bir görevden elde edilen bilginin başka bir görev için başlangıç noktası olarak kullanılmasını içerir ve bu genellikle ek eğitim döngüleri gerektirir. Görev aritmetiği, ek eğitim döngüleri olmaksızın, yalnızca doğrudan ağırlık hesaplamaları yoluyla davranışları değiştirir.

Aritmetik İşlemlerin Uygulanması

Bu model optimizasyon stratejilerini uygulamaya geçirmek, modelin iç durumunun dikkatli bir şekilde yönetilmesini gerektirir. Aşağıda, son dönemdeki bilgisayar görme makalelerinde sıkça ele alınan bir teknik olan PyTorch kullanılarak bir güncellemenin hesaplanması ve uygulanmasına dair bir örnek yer almaktadır.

import torch

# Load the state dictionaries of the pre-trained base and fine-tuned models
base_weights = torch.load("yolo26_base.pt")
tuned_weights = torch.load("yolo26_tuned.pt")

# Calculate the task vector and add it back to the base model with a scaling factor
scaling_factor = 0.5
for key in base_weights.keys():
    task_vector = tuned_weights[key] - base_weights[key]
    base_weights[key] += scaling_factor * task_vector

Karmaşık veri etiketleme süreçlerini ve çok sayıda ince ayarlı model sürümünü yöneten ekipler için Ultralytics , bulut ortamında yapılan eğitimi ve sorunsuz dağıtımı denetlemek üzere kolaylaştırılmış bir ortam sunarak, yinelemeli model iyileştirmelerinin yönetimini çok daha verimli hale getirir.