Multi-Modal Learning

Çok modlu öğrenme, yapay zekâ (AI) alanında algoritmaları birden fazla farklı veri türünden veya "modaliteden" gelen bilgileri işlemek, anlamak ve ilişkilendirmek üzere eğiten gelişmiş bir yaklaşımdır. Çeviri için metin veya görüntü tanıma için pikseller gibi tek bir girdi türünde uzmanlaşan geleneksel sistemlerin aksine çok modlu öğrenme; görsel veriler, konuşma sesi, metinsel açıklamalar ve sensör okumaları gibi çeşitli duyusal girdileri birleştirerek insan bilişini taklit eder. Bu bütünsel yaklaşım, makine öğrenmesi (ML) modellerinin dünya hakkında daha derin ve bağlamı fark eden bir anlayış geliştirmesini sağlayarak daha sağlam ve çok yönlü tahminler yapılmasına olanak tanır.

Çok Modlu Öğrenme Nasıl Çalışır#

Çok modlu öğrenmedeki temel zorluk, farklı veri türlerini karşılaştırılabilecekleri ve birleştirilebilecekleri ortak bir matematiksel uzaya dönüştürmektir. Bu süreç genellikle üç ana aşamadan oluşur: kodlama, hizalama ve birleştirme.

1. Özellik Çıkarma: Özelleştirilmiş sinir ağları her modaliteyi bağımsız olarak işler. Örneğin, evrişimli sinir ağları (CNNs) veya Görsel Transformer'lar (ViTs) görüntülerden özellikler çıkarabilirken Tekrarlayan Sinir Ağları (RNNs) veya Transformer'lar metni işler.

2. Gömme Hizalama: Model, bu çeşitli özellikleri ortak yüksek boyutlu vektörlere eşlemeyi öğrenir. Bu ortak uzayda, "kedi" kelimesinin vektörü ile kedi görüntüsünün vektörü birbirine yaklaştırılır. Zıtlık öğrenmesi gibi, OpenAI'nin CLIP'i gibi çalışmalarla yaygınlaşan teknikler burada temel öneme sahiptir.

3. Veri Birleştirme: Son olarak bilgiler bir görev gerçekleştirmek üzere birleştirilir. Birleştirme erken aşamada (ham verilerin birleştirilmesiyle), geç aşamada (nihai tahminlerin birleştirilmesiyle) veya her modalitenin önemini dinamik olarak ağırlıklandırmak üzere dikkat mekanizmasını kullanan ara hibrit yöntemlerle gerçekleştirilebilir.

Gerçek Dünya Uygulamaları#

Çok modlu öğrenme, günümüzün en etkileyici yapay zekâ atılımlarının çoğunun temelini oluşturur ve karmaşık sorunları çözmek için farklı veri siloları arasındaki boşluğu kapatır.

• Görsel Soru Yanıtlama (VQA): Bu uygulamada bir sistem, bir görüntüyü analiz etmeli ve "Trafik ışığı ne renk?" gibi görüntüyle ilgili doğal dilde bir soruyu yanıtlamalıdır. Bunun için modelin metnin anlambilimini anlaması ve bilgisayarlı görü kullanarak karşılık gelen görsel ögeleri uzamsal olarak konumlandırması gerekir.
• Otonom Araçlar: Sürücüsüz araçlar, güvenli bir şekilde ilerlemek için LiDAR nokta bulutlarından, kamera video akışlarından ve radardan gelen verileri birleştiren sensör füzyonuna büyük ölçüde güvenir. Bu çok modlu girdi, bir sensör arızalansa bile (örneğin güneş parlaması nedeniyle kamaranın görüntüsü engellense) diğer sensörlerin yol güvenliğini koruyabilmesini sağlar.
• Sağlık Hizmetlerinde Tanı: Sağlık hizmetlerinde yapay zekâ, tıbbi görüntü analizini (MRI veya X ışınları gibi) yapılandırılmamış hasta geçmişi metinleri ve genetik verilerle birlikte analiz ederek çok modlu öğrenmeden yararlanır. Bu kapsamlı bakış, doktorların daha doğru tanılar koymasına yardımcı olur; bu konu Nature Digital Medicine dergilerinde sıkça ele alınır.
• Üretken Yapay Zekâ: Metin istemlerinden görüntüler oluşturan Stable Diffusion gibi araçlar, tamamen modelin dilsel açıklamalar ile görsel dokular arasındaki ilişkiyi anlama becerisine dayanır.

Ultralytics ile Çok Modlu Nesne Algılama#

Standart nesne algılayıcılar önceden tanımlanmış sınıflara dayanırken YOLO-World gibi çok modlu yaklaşımlar, kullanıcıların açık kelime dağarcıklı metin istemlerini kullanarak nesneleri algılamasına olanak tanır. Bu, Ultralytics ekosistemi içinde metinsel kavramları görsel özelliklerle ilişkilendirmenin gücünü gösterir.

Aşağıdaki Python kod parçacığı, özel metin girdilerine göre nesneleri algılamak için önceden eğitilmiş bir YOLO-World modelinin nasıl kullanılacağını gösterir.

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multi-Modal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person", "bus", "traffic light"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Temel Terimleri Ayırt Etme#

Modern yapay zekâ alanında yolunu bulmak için 'Çok Modlu Öğrenme'yi ilgili kavramlardan ayırt etmek yararlıdır:

• Çok Modlu Model: "Çok Modlu Öğrenme" metodolojiyi ve çalışma alanını ifade eder. GPT-4 veya Google'ın Gemini'si gibi bir "Çok Modlu Model", bu eğitim sürecinden ortaya çıkan belirli yapıt veya yazılım ürünüdür.
• Tek Modlu Yapay Zekâ: Geleneksel Bilgisayarlı Görü genellikle tek modludur ve yalnızca görsel verilere odaklanır. Ultralytics YOLO26 gibi bir model, nesneleri algılamaya yönelik son teknoloji bir CV aracı olsa da daha büyük bir çok modlu işlem hattının parçası olmadığı sürece genellikle yalnızca görsel girdilerle çalışır.
• Büyük Dil Modelleri (LLMs): Geleneksel LLM'ler tek modludur ve yalnızca metinler üzerinde eğitilir. Ancak sektör, görüntüleri ve metinleri yerel olarak işleyebilen "Büyük Çok Modlu Modellere" (LMMs) doğru ilerlemektedir; bu eğilim PyTorch ve TensorFlow gibi çerçeveler tarafından desteklenmektedir.

Geleceğe Bakış#

Çok modlu öğrenmenin gidişatı, Yapay Genel Zekâ (AGI) özelliklerine sahip sistemlere işaret ediyor. Bu modeller, dili görsel ve fiziksel gerçekliğe başarıyla dayandırarak istatistiksel korelasyonun ötesine geçip gerçek akıl yürütmeye doğru ilerliyor. MIT CSAIL ve Stanford Foundation Models Araştırma Merkezi gibi kurumların araştırmaları, makinelerin karmaşık ve çok duyulu ortamları nasıl algıladığı ve bunlarla nasıl etkileşime girdiğinin sınırlarını genişletmeye devam ediyor.

Ultralytics olarak bu gelişmeleri Ultralytics Platformumuza entegre ediyor; kullanıcıların verileri yönetmesini, modelleri eğitmesini ve YOLO26'nın hızından açık kelime dağarcıklı algılamanın çok yönlülüğüne kadar mevcut modalitelerin tüm yelpazesinden yararlanan çözümleri devreye almasını sağlıyoruz.