Curriculum Learning

Müfredat öğrenmesi, örnekleri rastgele ve eşit olasılıkla örneklemek yerine genellikle kolaydan zora doğru anlamlı bir sırayla sunan bir makine öğrenmesi eğitim stratejisidir. Okul müfredatı gibi, sinir ağının belirsiz, karmaşık veya gürültülü örneklerle karşılaşmadan önce temiz örneklerden genel ve basit örüntüler öğrenmesini sağlar. Bengio ve diğerleri, 2009'da derin öğrenme için bu fikri ortaya koyarak kolay örneklerle başlamanın, dışbükey olmayan bir kayıp işlevinin optimizasyonunu daha iyi minimumlara yönlendirdiğini savundu ve şekil tanıma ile dil modelleme görevlerinde genelleme başarısının önemli ölçüde arttığını bildirdi.

Öğretim Programlı Öğrenme Nasıl Çalışır?#

Bir müfredatın, Hacohen ve Weinshall'in puanlama işlevi ve tempo işlevi adını verdiği iki bileşene ihtiyacı vardır. Puanlama işlevi, nesne boyutu, örtülme veya cümle uzunluğu gibi insan sezgilerini, önceden eğitilmiş bir öğretmen modelinin güvenini ya da eğitilen modelin kaybını kullanarak eğitim verilerini zorluk düzeyine göre sıralar. Tempo işlevi, örneğin en kolay %20'yle başlayıp tüm veri kümesine doğrusal biçimde genişleyerek, daha zor örneklerin modelin eğitim havuzuna ne hızla ekleneceğine karar verir. Aşağıdaki kod, scikit-learn kullanarak oyuncak bir veri kümesini öğretmen modeliyle puanlar ve genişleyen, en kolay örneklerden başlayan bir havuzla öğrenci modeli eğitir:

import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression, SGDClassifier

# A toy dataset with 10% flipped labels, so some samples are genuinely hard
X, y = make_classification(n_samples=2000, n_features=20, flip_y=0.1, random_state=0)

# Scoring function: a teacher's confidence in each true label, sorted easiest first
teacher = LogisticRegression(max_iter=1000).fit(X, y)
confidence = teacher.predict_proba(X)[np.arange(len(y)), y]
order = np.argsort(-confidence)

# Pacing function: start with the easiest 20% and add 20% more each epoch
student = SGDClassifier(random_state=0)
for epoch in range(5):
    pool = order[: int((0.2 + 0.2 * epoch) * len(order))]
    student.partial_fit(X[pool], y[pool], classes=[0, 1])
    print(f"Epoch {epoch}: {len(pool)} samples, mean teacher confidence {confidence[pool].mean():.2f}")

Havuz 400 örnekten 2.000 örneğe genişler; son ve en zor %20'lik bölüm son epoch sırasında havuza katıldıkça öğretmen güveninin ortalaması 0.99'dan 0.89'a düşer.

Kendi kendine tempolu öğrenme, modelin mevcut kaybından kendi müfredatını oluşturmasına izin vererek öğretmen ihtiyacını ortadan kaldırır. Bu, Soviany ve diğerlerinin derlemesinde ele alınan başlıca müfredat öğrenmesi ailelerinden biridir. Her turda modelin iyi işlediği örnekler eğitim havuzuna katılır ve her örnek dahil edilene kadar kayıp eşiği yükselir.

Müfredat Öğrenmesi Ne Zaman İşe Yarar#

Müfredatlar, sezgilerin düşündürdüğünden daha seyrek yarar sağlar. Binlerce eğitim çalışmasında Wu, Dyer ve Neyshabur, standart görüntü kıyaslamalarında yalnızca sınırlı faydalar buldu; büyüyen bir havuzda rastgele sıralanmış veriler, kolaydan zora sıralamayla benzer sonuç verdi. Müfredatlar, eğitim süresi bütçesi kısıtlı olduğunda veya etiketler gürültülü olduğunda sonuçları iyileştirdi; uygulayıcıların bu yöntemi en sık kullandığı koşullar da bunlardır.

Gerçek Dünya Uygulamaları#

Robotik için pekiştirmeli öğrenmede, aracı geliştikçe müfredatlar görevlerin zorluğunu artırır. OpenAI, otomatik etki alanı rastgeleleştirmesi kullanarak robot bir ele Rubik Küpü çözmeyi öğretti. Politika mevcut aralıkta yeterince iyi performans gösterdiğinde simüle edilen fizik ve görünüm aralıkları genişletildi.

Bilgisayarlı görüde, nesne algılama müfredatı büyük ve örtülmemiş nesnelerle başlayıp daha sonra küçük, kalabalık veya yetersiz aydınlatılmış sahneleri ekleyebilir. Ultralytics YOLO26 eğitimi de zaman içinde odağını değiştirir: uçtan uca kaybı, her epoch'ta yoğun bire çok başlığın ağırlığını nms=False tarafından kullanılan bire bir başlığa kaydırır; close_mosaic=10 ise eğitimin gerçek girdilere benzeyen görüntülerle sona ermesi için son 10 epoch'ta mozaik, mixup, CutMix ve kopyala-yapıştır artırmalarını kapatır. Tıbbi görüntü analizinde eğitim, uzman anotatörlerin hemfikir olduğu taramalarla başlayıp daha sonra belirsiz vakaları ekleyebilir; bu yaklaşım, müfredatların en çok yarar sağladığı gürültülü etiket koşullarına uygundur.

Müfredat Öğrenmesi ve İlgili Kavramlar#

• Sürekli Öğrenme: Sürekli öğrenme zaman içinde yeni görevler veya veri dağılımları ekler ve eskileri unutmaktan kaçınmalıdır. Müfredat öğrenmesi, tek ve sabit bir görevin verilerini yeniden sıralar.
• Aktif Öğrenme: Aktif öğrenme, etiketleme için hangi etiketsiz örneklerin gönderileceğini seçerken müfredat öğrenmesi zaten etiketlenmiş örnekleri sıralar.
• Aktarım Öğrenmesi: Aktarım öğrenmesi, büyük ve genel bir veri kümesi üzerinde ön eğitim yapar; ardından farklı bir hedef görev için ince ayar yapar. Dolayısıyla görev, aşamalar arasında değişir.
• Zor Negatif Örnek Madenciliği: Zor örnek madenciliği, modelin en çok hata yaptığı örneklere odaklanır; kolaydan başlayan müfredatın tam tersidir. Fast R-CNN algılayıcıları için çevrimiçi zor örnek madenciliği (OHEM), her görüntüde yalnızca kaybı en yüksek bölge önerileri üzerinden geri yayılım yapar.