Multi-Modal Learning

Çok modlu öğrenme, algoritmaları birden fazla farklı veri türünü veya "modaliteyi" işlemek, anlamak ve ilişkilendirmek üzere eğiten yapay zeka (AI) alanında gelişmiş bir yaklaşımdır. Çeviri için metin veya görüntü tanıma için pikseller gibi tek bir girdi türünde uzmanlaşan geleneksel sistemlerin aksine, çok modlu öğrenme; görsel veriler, sözlü sesler, metinsel açıklamalar ve sensör okumaları gibi çeşitli duyusal girdileri bütünleştirerek insan bilişini taklit eder. Bu bütünsel yaklaşım, makine öğrenimi (ML) modellerinin dünyayı daha derin ve bağlamsal bir şekilde anlamasını sağlayarak daha sağlam ve çok yönlü tahminlere yol açar.

Link to this sectionÇok Modlu Öğrenme Nasıl Çalışır#

Çok modlu öğrenmedeki temel zorluk, farklı veri türlerini karşılaştırılabilecekleri ve birleştirilebilecekleri ortak bir matematiksel uzaya dönüştürmektir. Bu süreç genellikle üç ana aşamadan oluşur: kodlama, hizalama ve füzyon.

1. Öznitelik Çıkarımı: Özelleşmiş sinir ağları her bir modaliteyi bağımsız olarak işler. Örneğin, evrişimli sinir ağları (CNN) veya Vision Transformer'lar (ViT) görüntülerden öznitelikler çıkarırken, Yinelemeli Sinir Ağları (RNN) veya Transformer'lar metni işleyebilir.

2. Embeddings Alignment: The model learns to map these diverse features into shared high-dimensional vectors. In this shared space, the vector for the word "cat" and the vector for an image of a cat are brought close together. Techniques like contrastive learning, popularized by papers such as OpenAI's CLIP, are essential here.

3. Veri Füzyonu: Son olarak, bir görevi yerine getirmek için bilgiler birleştirilir. Füzyon erken (ham verileri birleştirme), geç (nihai tahminleri birleştirme) veya her bir modalitenin önemini dinamik olarak tartmak için dikkat mekanizması kullanılan ara hibrit yöntemlerle gerçekleşebilir.

Link to this sectionGerçek Dünya Uygulamaları#

Çok modlu öğrenme, günümüzün en etkileyici AI buluşlarının çoğunun arkasındaki motor olup, karmaşık sorunları çözmek için farklı veri siloları arasındaki boşluğu doldurur.

• Görsel Soru Cevaplama (VQA): Bu uygulamada bir sistemin, bir görüntüyü analiz etmesi ve "Trafik ışığı ne renk?" gibi doğal dildeki bir soruyu yanıtlaması gerekir. Bu, modelin metnin anlamsal yapısını anlamasını ve bilgisayarlı görü kullanarak karşılık gelen görsel öğeleri konumsal olarak bulmasını gerektirir.
• Otonom Araçlar: Sürücüsüz arabalar, güvenli bir şekilde yol almak için LiDAR nokta bulutlarından, kamera video beslemelerinden ve radardan gelen verileri birleştirerek sensör füzyonuna büyük ölçüde güvenir. Bu çok modlu girdi, bir sensör arızalandığında (örneğin, güneş parlamasıyla körleşen bir kamera), diğerlerinin yol güvenliğini koruyabilmesini sağlar.
• Sağlık Teşhisi: Sağlık alanındaki AI, tıbbi görüntü analizi (MRI veya X-ray gibi) verilerini, yapılandırılmamış metinsel hasta geçmişi ve genetik verilerle birlikte analiz ederek çok modlu öğrenmeden yararlanır. Bu kapsamlı bakış açısı, doktorların daha doğru teşhis koymalarına yardımcı olur; bu konu Nature Digital Medicine dergilerinde sıklıkla tartışılmaktadır.
• Üretken AI: Stable Diffusion gibi metin komutlarından görüntüler oluşturan araçlar, tamamen modelin dilsel tanımlar ile görsel dokular arasındaki ilişkiyi anlama yeteneğine dayanır.

Link to this sectionUltralytics ile Çok Modlu Nesne Tespiti#

Standart nesne dedektörleri önceden tanımlanmış sınıflara güvenirken, YOLO-World gibi çok modlu yaklaşımlar, kullanıcıların açık uçlu metin komutlarını kullanarak nesneleri tespit etmelerine olanak tanır. Bu, Ultralytics ekosistemi içinde metinsel kavramları görsel özniteliklerle ilişkilendirmenin gücünü göstermektedir.

Aşağıdaki Python kod parçası, özel metin girdilerine dayalı nesneleri tespit etmek için önceden eğitilmiş bir YOLO-World modelinin nasıl kullanılacağını gösterir.

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multi-Modal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person", "bus", "traffic light"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Link to this sectionTemel Terimleri Ayırt Etme#

Modern AI dünyasında yolunuzu bulmak için 'Çok Modlu Öğrenme'yi ilgili kavramlardan ayırmak faydalıdır:

• Çok Modlu Model: "Çok Modlu Öğrenme", metodolojiyi ve çalışma alanını ifade eder. "Çok Modlu Model" (örneğin GPT-4 veya Google'ın Gemini'si) ise bu eğitim sürecinden elde edilen spesifik ürün veya yazılımdır.
• Tek Modlu AI: Geleneksel Bilgisayarlı Görü genellikle tek modludur ve yalnızca görsel verilere odaklanır. Ultralytics YOLO26 gibi bir model, nesneleri tespit etmek için son teknoloji bir CV aracı olsa da, daha büyük bir çok modlu hattın parçası olmadığı sürece genellikle yalnızca görsel girdilerle çalışır.
• Büyük Dil Modelleri (LLM'ler): Geleneksel LLM'ler tek modludur ve yalnızca metin üzerinde eğitilirler. Ancak endüstri, PyTorch ve TensorFlow gibi çerçeveler tarafından desteklenen bir trend olan, görüntüleri ve metni doğal bir şekilde işleyebilen "Büyük Çok Modlu Modellere" (LMM'ler) doğru kaymaktadır.

Link to this sectionGelecek Görünümü#

Çok modlu öğrenmenin yörüngesi, Yapay Genel Zeka (AGI) özelliklerine sahip sistemlere işaret etmektedir. Dili görsel ve fiziksel gerçekliğe başarıyla dayandıran bu modeller, istatistiksel korelasyonun ötesine geçerek gerçek bir akıl yürütmeye doğru ilerlemektedir. MIT CSAIL ve Stanford Temel Modeller Araştırma Merkezi gibi kurumların araştırmaları, makinelerin karmaşık ve çok duyulu ortamları nasıl algıladığı ve bu ortamlarla nasıl etkileşime girdiği konusundaki sınırları zorlamaya devam etmektedir.

Ultralytics olarak, bu gelişmeleri Ultralytics Platform sistemimize entegre ediyoruz; kullanıcılarımızın verileri yönetmelerini, modelleri eğitmelerini ve YOLO26 hızından açık uçlu tespitin çok yönlülüğüne kadar mevcut tüm modalite spektrumundan yararlanan çözümler dağıtmalarını sağlıyoruz.