Continual Learning
Sürekli öğrenme veya yaşam boyu öğrenme, önceki görevleri unutmadan bir modeli yeni görevlerden ya da verilerden oluşan bir akışla eğitir. Tekrar oynatma, EWC ve kodu ele alır.
Sürekli öğrenme; yaşam boyu öğrenme veya artımlı öğrenme olarak da adlandırılır ve önceki öğrenilenleri korurken modeli bir görev dizisi veya değişen bir veri akışı üzerinde eğitir. Yeni verilerle yapılan standart ince ayar, önceki görevlere hizmet eden model ağırlıklarının üzerine yazar; bu nedenle bu görevlerdeki performans düşer. Bu başarısızlık felaket düzeyinde unutma olarak bilinir. Sürekli öğrenme yöntemleri, yeni şeyler öğrenme yeteneği olan esneklik ile eski bilgileri koruma yeteneği olan kararlılık arasında denge kurar. Hem sinir ağlarında hem de biyolojik beyinlerde bu ödünleşim kararlılık-esneklik ikilemi olarak adlandırılır.
Sürekli Öğrenme Neden Önemlidir#
Dağıtıma alınan modeller, sürekli değişen verilerle karşılaşır: yeni nesne sınıfları, yeni kamera donanımları, mevsimsel ışıklandırma veya kademeli veri kayması. En basit çözüm, birikmiş veri kümesinin tamamıyla modeli baştan eğitmektir; ancak her güncellemeyle maliyet artar ve depolama sınırları, lisanslama veya veri gizliliği kuralları nedeniyle eski veriler kullanılamayabilir. Sürekli öğrenme bunun yerine modeli artımlı olarak günceller; bu yaklaşım uç AI cihazlarına ve makine öğrenmesi operasyonları iş akışlarına uygundur. Bu iş akışları, dağıtıma alınan modelleri yeniden eğitir ve bunu belirli bir takvime göre yapar.
Sürekli Öğrenme Türleri#
Van de Ven, Tuytelaars ve Tolias üç senaryoyu birbirinden ayırır. Görev artımlı öğrenmede modele her girdinin hangi göreve ait olduğu bildirilir ve model her görev için ayrı bir çıktı başlığı kullanabilir. Alan artımlı öğrenmede sınıflar aynı kalır ancak girdi dağılımı değişir; örneğin bir algılayıcı gündüz çekimlerinden gece çekimlerine geçer. Sınıf artımlı öğrenmede yeni sınıflar gelmeye devam eder ve modele girdinin hangi görevden geldiği bildirilmeden, o ana kadar görülen tüm sınıfları birbirinden ayırması gerekir; bu da onu üçü arasındaki en zor senaryo yapar.
Unutmayı Önleme Stratejileri#
- Tekrar oynatma: Model, geçmiş örneklerden küçük bir arabellek saklar veya üretici modelle sentetik örnekler oluşturur ve bunları her yeni eğitim turuna ekler.
- Elastik Ağırlık Birleştirme: EWC gibi düzenlileştirme yöntemleri, önceki görevler için önemli olan ağırlıkların değiştirilmesine kayıp fonksiyonunda ceza ekler ve bu önemi Fisher bilgisiyle tahmin eder.
- Parametre yalıtımı: Dondurulmuş gövdeler, göreve özgü başlıklar veya LoRA gibi bağdaştırıcılar yoluyla her görev kendi parametrelerini alır; böylece yeni bir görevin güncellemeleri eskilerin üzerine yazamaz.
- Bilgi damıtma: Model yeni görevi öğrenirken önceki modelin yeni veriler üzerindeki çıktıları yumuşak hedefler olarak kullanılır. Bu yaklaşım Unutmadan Öğrenme olarak bilinir.
Aşağıdaki kod parçası PyTorch ile sınıf artımlı bir deney yürütür: küçük bir ağ, 0'dan 4'e kadar el yazısı rakamları, ardından 5'ten 9'a kadar olanları öğrenir. İlk görevden saklanan 100 görüntülük tekrar oynatma arabelleği hem kullanılır hem de kullanılmaz.
import torch
from sklearn.datasets import load_digits
from torch import nn
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0] # digits 0-4, then digits 5-9
for replay in [0, 100]:
torch.manual_seed(0)
model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# Train on task A, then on task B plus a replay buffer of stored task A images
for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
for _ in range(200):
optimizer.zero_grad()
nn.functional.cross_entropy(model(X[task]), y[task]).backward()
optimizer.step()
accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")Tekrar oynatma olmadığında ağ, 0'dan 4'e kadar olan rakamları tamamen unutur ve 5'ten 9'a kadar olanları öğrendikten sonra bu rakamlarda %0 puan alır. İlk görevin 901 görüntüsünün yaklaşık %11'i olan 100 saklanmış görüntüyü tekrar oynatmak, doğruluğu %70'te tutar. Ultralytics YOLO26, yeni verilerle ince ayar yapılırken ilk N katmanı veya adı belirtilen modülleri kilitleyen freeze eğitim argümanıyla bu araç setinin parametre yalıtımı bölümünü destekler.
Açık Sorunlar#
Sürekli öğrenen bir modeli değerlendirmek tek bir puandan fazlasını gerektirir: her güncellemeden sonra önceki her görevdeki performans ölçütleri izlenmeli; geriye dönük aktarım (yeni öğrenmenin eski görevleri nasıl değiştirdiği) ve ileriye dönük aktarım (eski bilginin yeni görevleri nasıl hızlandırdığı) ölçülmelidir. Uzun süreli sürekli eğitim, unutma dışında daha az fark edilen bir sorunla da karşılaşır. Dohare ve diğerleri, standart derin öğrenme yöntemlerinin ImageNet tabanlı görevlerden ve pekiştirmeli öğrenme problemlerinden oluşan uzun diziler boyunca, yeni bir şey öğrenme yeteneği olan esnekliği giderek kaybettiğini gösterdi. Seyrek kullanılan birimlerin küçük bir bölümünü rastgele yeniden başlatan sürekli geri yayılım ise bu yeteneği süresiz olarak korur.
Gerçek Dünya Uygulamaları#
- Robotik: Üretim hattındaki bir robot, tam bir yeniden eğitim çalıştırmasına gerek kalmadan yeni bir ürün çeşidini işlemeyi öğrenebilir ve daha önce işlediği parçalardaki becerisini koruyabilir.
- Tıbbi Görüntü Analizi: Hastaneler tarayıcıları ve görüntüleme protokollerini değiştirir, ayrıca zaman içinde yeni bulgular ortaya çıkar. Alan artımlı güncellemeler, tanı modelinin yeni görüntülere uyum sağlamasını ve bilinen durumlarda doğruluğunu korumasını sağlar.
- Büyük Dil Modelleri: Daha yeni metinlerle sürekli ön eğitim, modelin bilgisini günceller; parametre açısından verimli bağdaştırıcılar ise modelin tamamını yeniden eğitmeden yeni beceriler ekler.
Sürekli Öğrenme ve İlgili Kavramlar#
- Aktarım Öğrenmesi: Aktarım öğrenmesi, yeni bir görev için başlangıç noktası olarak önceden eğitilmiş bir modeli yeniden kullanır ve başarıyı yalnızca bu görevde değerlendirir. Sürekli öğrenme ise hem yeni görevde hem de önceki tüm görevlerde değerlendirilir.
- Çevrimiçi Öğrenme: Çevrimiçi öğrenme, veri akışı geldikçe modeli her seferinde bir örnek veya mini yığın üzerinde günceller. Genellikle tek bir görev için kullanılır ve unutma sorununu ele alması gerekmez.
- Müfredatlı Öğrenme: Müfredatlı öğrenme, tek ve sabit bir görevin örneklerini kolaydan zora sıralar; sürekli öğrenme ise farklı görev veya dağılımlardan oluşan bir diziyle karşılaşır.
- Makine Öğrenmesini Geri Alma: Öğrenmeyi geri alma, ters yönde çalışır ve örneğin GDPR kapsamındaki unutulma hakkı uyarınca silme taleplerini yerine getirmek için belirli eğitim verilerinin model üzerindeki etkisini kasıtlı olarak ortadan kaldırır.










