Kendi Kendine Denetimli Öğrenme

Öz Denetimli Öğrenme Nasıl Çalışır?

SSL'nin arkasındaki temel mekanizma bir "bahane görevi" tasarlamayı içerir. Bu, modelin kasıtlı olarak gizlenmiş veya değiştirilmiş verilerin belirli özelliklerini tahmin etmesi gereken yardımcı, kendi kendine oluşturulan bir görevdir. Bu bahane görevini çözerek model, insan tarafından sağlanan etiketler olmadan verinin altında yatan anlamlı yapıları ve temsilleri(gömülmeler) öğrenmeye zorlanır. Bu ilk eğitim aşaması genellikle ön eğitim olarak adlandırılır.

Örneğin, bilgisayarla görmede bir bahane görevi şunları içerebilir:

• Karıştırılmış görüntü yamalarının göreceli konumunu tahmin etme.
• Gri tonlamalı bir görüntüyü renklendirme.
• Bir görüntünün eksik kısımlarını doldurma (inpainting).
• SimCLR ve MoCo gibi kontrastlı öğrenme yöntemlerinde kullanılan bir teknik olan aynı görüntünün farklı artırılmış görünümlerini karşılaştırarak temsilleri öğrenme.

NLP'de iyi bilinen bir bahane görevi, BERT gibi modeller tarafından kullanılan maskeli dil modellemesidir. Burada model, cümleler içinde rastgele maskelenmiş (gizlenmiş) kelimeleri tahmin etmeyi öğrenir.

Büyük etiketsiz veri kümeleri üzerinde ön eğitimden sonra, model zengin özellik temsillerini yakalar. Önceden eğitilmiş bu model daha sonra ince ayar adı verilen bir işlemle nesne algılama, görüntü sınıflandırma veya duygu analizigibi belirli aşağı akış görevleri için uyarlanabilir. İnce ayar genellikle bir modeli sıfırdan eğitmeye kıyasla çok daha az miktarda etiketli veri gerektirir, bu da SSL'yi etkili transfer öğrenimi için önemli bir kolaylaştırıcı haline getirir.

SSL ve Diğer Öğrenme Paradigmaları

SSL'yi ilgili makine öğrenimi paradigmalarından ayırmak çok önemlidir:

• Denetimli Öğrenme: Her bir girdinin doğru bir çıktı ile eşleştirildiği, tamamen etiketli verilere dayanır. SSL ise tam tersine etiketlerini verinin kendisinden üretir.
• Denetimsiz Öğrenme: Önceden tanımlanmış ön görevler olmaksızın etiketlenmemiş verilerde örüntü bulmayı ( kümeleme gibi) veya boyutluluğu azaltmayı amaçlar. SSL, denetimsiz öğrenme gibi etiketlenmemiş verileri kullanırken, temsil öğrenimini yönlendirmek için bahane görevleri aracılığıyla açık denetleyici sinyaller oluşturarak farklılık gösterir.
• Yarı Denetimli Öğrenme: Az miktarda etiketli veri ile çok miktarda etiketsiz verinin bir kombinasyonunu kullanır. SSL ön eğitimi genellikle yarı denetimli ince ayardan önce bir ön adım olabilir.

Gerçek Dünya Uygulamaları

SSL, önemli ölçüde gelişmiş Yapay Zeka (AI) yeteneklerine sahiptir:

1. Bilgisayarla Görme Modellerinin Geliştirilmesi: SSL ön eğitimi, aşağıdaki gibi modellere izin verir Ultralytics YOLO11Otonom araçlarda nesne algılama veya tıbbi görüntü analizi gibi görevler için ince ayar yapılmadan önce büyük etiketsiz görüntü veri kümelerinden sağlam görsel özellikler öğrenmek. SSL'den türetilen önceden eğitilmiş ağırlıkların kullanılması genellikle model eğitimi sırasında daha iyi performans ve daha hızlı yakınsama sağlar.
2. Büyük Dil Modellerine (LLM'ler) Güç Sağlama: GPT-4 ve BERT gibi temel modeller, geniş metin derlemleri üzerinde ön eğitim aşamaları sırasında SSL ön metin görevlerine (maskeli dil modelleme gibi) büyük ölçüde güvenir. Bu sayede dil yapısını, dilbilgisini ve bağlamı anlayarak sofistike sohbet robotlarından makine çevirisine ve metin özetlemeye kadar çeşitli uygulamalara güç sağlarlar.

SSL, pahalı etiketli veri kümelerine olan bağımlılığı önemli ölçüde azaltarak güçlü yapay zeka modellerinin geliştirilmesini demokratikleştirir. Gibi araçlar PyTorch ve TensorFlowUltralytics HUB gibi platformlarla birlikte, en yeni yapay zeka çözümlerini oluşturmak ve dağıtmak için SSL tekniklerinden yararlanmak için ortamlar sağlar.