Masked Autoencoders (MAE)

Masked Autoencoders (MAE) represent a highly efficient and scalable approach to self-supervised learning within the broader field of computer vision. Introduced as a method to train heavily parameterized neural networks without requiring extensively labeled datasets, an MAE functions by intentionally obscuring a large, random portion of an input image and training the model to reconstruct the missing pixels. By successfully predicting the hidden visual information, the network inherently learns a deep, semantic understanding of shapes, textures, and spatial relationships.

Bu teknik, metin tabanlı sistemlerdeki maskelenmiş dil modelleme başarısından büyük ölçüde ilham almıştır ancak görüntü verilerinin yüksek boyutlu doğasına uyarlanmıştır. Mimari, asimetrik bir kodlayıcı-kod çözücü yapısı kullanan oldukça popüler Transformer çerçevesine dayanır.

Link to this sectionMasked Autoencoders Nasıl Çalışır?#

MAE'nin temel inovasyonu, işleme verimliliğinde yatar. Eğitim sırasında girdi görüntüsü bir yama ızgarasına bölünür. Bu yamaların büyük bir yüzdesi (genellikle %75'e kadar) rastgele maskelenir ve atılır. Genellikle bir Vision Transformer (ViT) olan kodlayıcı, yalnızca görünür, maskelenmemiş yamaları işler. Kodlayıcı maskelenmiş kısımları tamamen atladığından, çok daha az hesaplama ve bellek gerektirir, bu da eğitim sürecini dikkat çekici derecede hızlı kılar.

Kodlayıcı, görünür yamaların gizli temsillerini oluşturduktan sonra hafif bir kod çözücü devreye girer. Kod çözücü, kodlanmış görünür yamaları "maske belirteçleri" (eksik veriler için yer tutucular) ile birlikte alır ve orijinal görüntüyü yeniden oluşturmaya çalışır. Kod çözücü yalnızca bu ön eğitim aşamasında kullanıldığından çok küçük tutulabilir ve bu da hesaplama yükünü daha da azaltır. Ön eğitim tamamlandığında kod çözücü atılır ve güçlü kodlayıcı, sonraki uygulamalar için saklanır.

Link to this sectionİlgili Terimlerin Ayrıştırılması#

MAE'leri tam olarak kavramak için, eski veya daha geniş derin öğrenme kavramlarından nasıl ayrıldıklarını anlamak faydalıdır:

• Autoencoder: Geleneksel bir otomatik kodlayıcı, tüm girdiyi daha küçük bir gizli alana sıkıştırır ve verimli veri kodlamalarını öğrenmek için onu yeniden oluşturur. Ancak bir MAE, ağı sadece tüm girdiyi sıkıştırıp açmak yerine eksik verileri tahmin etmeye zorlar.
• Self-Supervised Learning: Bu, bir modelin insan tarafından etiketlenmiş veriler olmadan doğrudan verinin kendisinden öğrendiği kapsayıcı eğitim paradigmasıdır. MAE, bu kavramın belirli bir mimari uygulamasıdır.
• Foundation Model: MAE'ler genellikle, daha sonra özelleştirilmiş görevler için ince ayar yapılan görsel temel modelleri önceden eğitmek için kullanılır.

Link to this sectionGerçek Dünya Uygulamaları#

MAE'ler görsel verilerin inanılmaz derecede sağlam temsillerini öğrendiklerinden, karmaşık, gerçek dünya AI sistemleri için ideal başlangıç noktalarıdır.

• Gelişmiş Nesne Algılama için Ön Eğitim: MAE ön eğitimi ile öğrenilen zengin özellik çıkarma yetenekleri, sonraki nesne algılama sistemlerinin performansını önemli ölçüde artırabilir. Örneğin, MAE aracılığıyla öğrenilen özellikler, etiketli verilerin az olduğu özel ve niş veri setlerinde Ultralytics YOLO26 gibi modelleri eğitirken kullanılabilir.
• Medical Image Analysis: Radyoloji gibi alanlarda, etiketlenmiş devasa MRI veya CT tarama veri setlerini toplamak pahalıdır ve gizlilik yasalarıyla kısıtlanmıştır. Araştırmacılar, arXiv üzerindeki son akademik literatürlerde yayınlandığı üzere, tümörleri veya anomalileri çok az etiketli örnekle tespit etmek üzere ince ayar yapmadan önce, büyük etiketlenmemiş tıbbi görüntü havuzlarında modelleri önceden eğitmek için MAE'leri kullanırlar.

Link to this sectionVeri ve Dağıtım Yönetimi#

Bir omurga (backbone), bir MAE yaklaşımı kullanılarak önceden eğitildikten sonra, sonraki adım modeli görüntü sınıflandırma veya görüntü segmentasyonu gibi belirli görevler için ince ayar yapmak ve dağıtmaktır. Modern bulut ekosistemleri bu geçişi sorunsuz hale getirir. Örneğin ekipler, göreve özel veri setlerini kolayca etiketlemek, bulut eğitimini yönetmek ve ortaya çıkan üretime hazır modelleri uç cihazlara veya sunuculara dağıtmak için Ultralytics Platform'u kullanabilir. Bu, genellikle makine öğrenimi operasyonları (MLOps) ile ilişkilendirilen çoğu altyapı işini ortadan kaldırır.

Link to this sectionKod Örneği: Yama Maskelemeyi Simüle Etme#

Tam bir MAE eğitmek eksiksiz bir Transformer mimarisi gerektirse de, yama maskelemenin temel kavramı PyTorch tensör işlemleri kullanılarak kolayca görselleştirilebilir. Bu basit kod parçacığı, bir girdi tensöründen görünür yamaların nasıl rastgele seçilebileceğini gösterir.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

Sıfırdan mimari yazmadan iş akışlarına güçlü, önceden eğitilmiş görsel yetenekleri entegre etmek isteyen geliştiriciler için, kapsamlı Ultralytics dokümantasyonunu keşfetmek, en son teknoloji vizyon modellerini benzersiz zorluklarınıza uygulamak için mükemmel başlangıç noktaları sunar. Ayrıca TensorFlow gibi büyük çerçeveler de, en son makine öğrenimi araştırmalarını ölçeklenebilir üretim ortamlarına uygulamak için sağlam ekosistemler sağlar.