Self-Supervised Learning

Öz denetimli öğrenme (SSL), etiketleri verinin kendisinden gelen bir görevle model eğitir. Örneğin bir cümlenin sonraki sözcüğünü tahmin etme, gizlenmiş görüntü parçalarını tamamlama veya aynı fotoğrafın iki kırpımını eşleşme olarak tanıma görevleri, modelin büyük miktarda etiketsiz veriden öğrenmesini sağlar. Denetimli öğrenme, yavaş ve pahalı olan veri etiketlemeyle sınırlıdır; ham görüntü, video, ses ve metin ise bol miktarda bulunur. SSL, bu verileri genel amaçlı bir kodlayıcıyı önceden eğitmek için kullanır; ardından ince ayar veya eğitilmiş küçük bir başlık, çok daha az etiketle görüntü sınıflandırma ya da nesne algılama gibi sonraki bir göreve uyum sağlar. Her modern büyük dil modeli (LLM), GPT modellerinde olduğu gibi metin üzerinde sonraki belirteci tahmin ederek bu şekilde önceden eğitilir. Meta'nın DINOv3 modeli ise öz denetimli görüntü ön eğitimini, 1,7 milyar görüntü üzerinde eğitilmiş 7 milyar parametreli bir modele ölçeklendirdi.

Öz Denetimli Öğrenme Nasıl Çalışır#

Bir SSL yöntemi, her girdinin bir bölümünü gizleyip veya dönüştürüp ağı kaldırılan kısmı yeniden oluşturmaya ya da aynı kalan kısmı tanımaya eğittiği bir ön görev tanımlar. Ön görevin kendisi nadiren işe yarar; önemli olan, bu görevi çözmenin ağı nesne biçimleri, dokular ve parçaların ilişkileri gibi veri yapısını öğrenmeye zorlaması ve öğrenilen özelliklerin etiketli görevlere aktarılmasıdır. Ön eğitimden sonra kodlayıcı, özellikler dondurulmuşken değerlendirilir veya doğrusal yoklama yoluyla kullanılır ya da tüm ağırlıkları ince ayarlanır:

Başlıca Yöntem Aileleri#

• Maskeli tahmin: Girdinin bir kısmını gizler ve modeli bu kısmı yeniden oluşturmaya eğitir. BERT, rastgele maskelenmiş sözcükleri tahmin eder; maskeli otomatik kodlayıcılar ise görüntü parçalarının %75'ini gizleyip piksellerini yeniden oluşturur. Bir dizinin sonraki belirtecini tahmin etmek de aynı fikri metne uygular.
• Karşıt öğrenme: Her görüntünün iki artırılmış görünümünü oluşturur ve aynı görüntünün görünümlerinin eşleşmesini, farklı görüntülerin görünümlerinin ise eşleşmemesini sağlayacak gömmeleri öğrenir. SimCLR ve MoCo, en bilinen örneklerdir.
• Öz damıtma: Bir öğrenci ağı, aynı görüntünün farklı kırpımlarında, öğrencinin yavaşça güncellenen ortalaması olan öğretmen ağının çıktısıyla eşleşmeyi negatif çiftler olmadan öğrenir. BYOL ve DINO bu yaklaşımı kullanır; DINOv2 ve DINOv3 ise yaklaşımı 100 milyondan fazla görüntü içeren seçilmiş veri kümelerine ölçeklendirir.
• Birleşik gömme tahmini: Görünen bölgelerden gizli bölgelerin gömmelerini tahmin ederek modelin, kapasitesini piksel ayrıntılarına harcamadan soyut içeriği öğrenmesini sağlar. Meta'nın I-JEPA ve V-JEPA modelleri bu yaklaşımı görüntülere ve videoya uygular.

Yöntem seçimi öğrenilen özellikleri belirler. Maskeli yeniden oluşturma ince uzamsal ayrıntıları korur ve ince ayara iyi yanıt verirken, karşıt öğrenme ve öz damıtma yöntemleri dondurulmuş hâlde iyi çalışan özellikler üretir. DINO ailesi kodlayıcılarının derinlik tahmini ve anlamsal bölümleme için popüler omurgalar olmasının nedeni budur.

Bilgisayarlı Görüde Öz Denetimli Öğrenme#

Görsel Transformer'lar ile SSL birbirine uygundur: tüm parçaları maskelemek ViT'nin belirteç girdilerine doğrudan karşılık gelir ve ViT'ler etiketli veri kümelerinin sağlayabileceğinden daha fazla eğitim verisinden yararlanır. Birçok temel model öz denetimli kodlayıcılarla başlar. İstemlerle yönlendirilebilir görüntü ve video bölümlemesi için Ultralytics paketinde çalışan Meta'nın SAM 2 modeli, herhangi bir bölümleme eğitiminden önce maskeli otomatik kodlayıcı olarak önceden eğitilmiş bir Hiera görüntü kodlayıcısını temel alır.

Uygulamalar#

• Tıbbi görüntüleme: Hastanelerde, radyologların etiketleyebileceğinden çok daha fazla tarama bulunur. Etiketsiz röntgen, BT veya MR taramaları üzerinde ön eğitim, az sayıda uzman etiketiyle tümör algılama gibi görevleri öğrenebilen bir kodlayıcı sağlar.
• Uydu görüntüleri: Meta, DINOv3'ün bir varyantını 493 milyon uydu görüntüsü üzerinde eğitti; World Resources Institute bu modeli ağaç örtüsü yüksekliğini haritalamak için kullanıyor. Kenya'daki bir bölgede, önceki DINOv2 tabanlı haritaların ortalama yükseklik hatasını 4,1 metreden 1,2 metreye düşürdü.
• Konuşma tanıma: wav2vec 2.0, 53.000 saatlik etiketsiz ses üzerinde önceden eğitildi ve yalnızca 10 dakikalık transkripsiyonlu konuşma üzerinde ince ayarlandıktan sonra LibriSpeech'in temiz ve diğer test kümelerinde sırasıyla %4,8 ve %8,2 sözcük hata oranlarına ulaştı.

Öz Denetimli Öğrenme ve İlgili Terimler#

• Denetimsiz öğrenme: Kümeleme ve yoğunluk tahmini dâhil olmak üzere genel anlamda insan etiketleri olmadan öğrenme. SSL, genellikle hedefleri veriden türetilen ve denetimli öğrenme gibi eğitilen bir denetimsiz öğrenme biçimi olarak kabul edilir.
• Yarı denetimli öğrenme: Küçük bir etiketli ve büyük bir etiketsiz veri kümesi üzerinde aynı anda eğitim yapar. SSL yalnızca etiketsiz verilerle ön eğitim uygular ve bu iki yöntem iyi birleşir: SimCLRv2, büyük bir öz denetimli modeli ImageNet etiketlerinin %1'iyle ince ayarladı ve ardından etiketsiz görüntüleri kullanarak damıttı.
• Aktarım öğrenmesi: Önceden eğitilmiş bir modeli yeni bir görevde yeniden kullanır. SSL, bu modeli etiketsiz olarak üretmenin bir yoludur.
• Veri artırma: Etiketli bir veri kümesini genişleten rastgele kırpmalar, renk değişiklikleri ve çevirmeler. Karşıt SSL'de aynı dönüşümler, hangi görünümlerin aynı görüntü sayılacağını belirler ve böylece kodlayıcının neleri göz ardı etmeyi öğrendiğini şekillendirir.