Multimodal AI

Çok modlu yapay zeka, birden fazla farklı veri türünden veya "modaliteden" gelen bilgileri aynı anda işlemek, yorumlamak ve sentezlemek için tasarlanmış sofistike bir yapay zeka (AI) sistemleri sınıfını ifade eder. Metin için Doğal Dil İşleme (NLP) veya görüntüler için Bilgisayarlı Görü (CV) gibi tek bir girdi kaynağında uzmanlaşan geleneksel tek modlu sistemlerin aksine, çok modlu yapay zeka, çeşitli veri akışlarını entegre ederek insan algısını taklit eder. Bu entegrasyon; görsel verileri (görüntüler, video) dilsel verilerle (metin, sözlü ses) ve duyusal bilgileri (LiDAR, radar, termal) birleştirmeyi içerebilir. Bu birleştirilmiş girdilerden yararlanan bu modeller, karmaşık gerçek dünya senaryolarının daha derin, bağlama duyarlı bir anlayışına ulaşarak Yapay Genel Zeka (AGI) hedefine doğru yaklaşır.

Çok Modlu Sistemler Nasıl Çalışır#

Çok modlu yapay zekanın temel gücü, farklı veri türlerini karşılaştırılabilecekleri ve birleştirilebilecekleri ortak bir matematiksel alana eşleme yeteneğinde yatar. Bu süreç genellikle üç ana aşamayı içerir: kodlama, hizalama ve füzyon.

1. Öznitelik Çıkarma: Özelleşmiş sinir ağları, temel örüntüleri belirlemek için her bir modaliteyi bağımsız olarak işler. Örneğin, bir Konvolüsyonel Sinir Ağı (CNN) bir fotoğraftan görsel özellikler çıkarabilirken, bir Transformer eşlik eden başlığı işler.

2. Hizalama ve Gömmeler: Çıkarılan özellikler yüksek boyutlu sayısal vektörlere dönüştürülür. Model, anlamsal olarak benzer kavramların (örneğin bir kedi görüntüsü ve "kedi" metin sözcüğü) vektör uzayında birbirine yakın konumlanması için bu vektörleri hizalamayı öğrenir. Bu durum genellikle OpenAI's CLIP gibi modellerde ünlü bir şekilde kullanılan bir yöntem olan kontrastif öğrenme gibi tekniklerle elde edilir.

3. Veri Birleştirme: Sistem, gelişmiş birleştirme tekniklerini kullanarak hizalanmış verileri birleştirir. Modern mimariler, bağlama bağlı olarak bir modalitenin önemini diğerine göre dinamik olarak tartmak için dikkat mekanizmalarını kullanır; bu sayede model, görüntü belirsiz olduğunda metne veya tam tersi duruma odaklanabilir.

Gerçek Dünya Uygulamaları#

Çok Modlu Yapay Zeka, tek modlu sistemlerle daha önce imkansız olan yeteneklerin kilidini açarak çeşitli endüstrilerde inovasyonu desteklemektedir.

• Görsel Soru Yanıtlama (VQA): Bu uygulamada, bir kullanıcı yapay zekaya bir görüntü sunabilir ve bu görüntü hakkında doğal dilde sorular sorabilir. Örneğin, görme engelli bir kullanıcı bir kiler fotoğrafı yükleyebilir ve "Hiç makarnam kaldı mı?" diye sorabilir. Model, belirli bir yanıt vermek için görsel içeriği ve metinsel sorguyu işler.
• Otonom Araçlar: Sürücüsiz arabalar güvenli bir şekilde seyahat etmek için kameralardan, LiDAR nokta bulutlarından ve radardan gelen verileri birleştirerek çok modlu girdilere büyük ölçüde güvenir. Bu yedeklilik, bir sensörün arızalanması durumunda (örneğin güneş parlamasıyla kör olan bir kamera) diğerlerinin Otomotiv Mühendisleri Topluluğu (SAE) tarafından tanımlanan güvenlik standartlarını koruyabilmesini sağlar.
• Sağlık Teşhisi: Gelişmiş tıbbi yapay zeka sistemleri, yapılandırılmamış metinsel hasta geçmişi ve genetik verilerin yanı sıra tıbbi görüntü analizini (MRI veya X ışınları gibi) analiz eder. Bu kapsamlı görünüm, doktorların daha doğru teşhisler koymasına yardımcı olur; bu konu Nature Digital Medicine dergisinde sıklıkla tartışılmaktadır.
• Üretken Yapay Zeka: Stable Diffusion gibi metin ipuçlarından görüntüler oluşturan araçlar, tamamen modelin dilsel açıklamalar ile görsel dokular arasındaki ilişkiyi anlama yeteneğine dayanır.

Ultralytics ile Açık Kelime Dağarcıklı Tespit#

Standart nesne dedektörleri önceden tanımlanmış kategori listelerine güvenirken, YOLO-World gibi çok modlu yaklaşımlar, kullanıcıların açık kelime dağarcığına sahip metin ipuçlarını kullanarak nesneleri tespit etmesine olanak tanır. Bu durum, Ultralytics ekosistemi içinde dilsel komutlar ile görsel tanıma arasındaki boşluğu doldurur.

Aşağıdaki örnek, modelin özel metin girdilerine dayalı olarak nesneleri tespit ettiği açık kelime dağarcığı tabanlı tespiti gerçekleştirmek için ultralytics kütüphanesinin nasıl kullanılacağını göstermektedir:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

İlgili Terimlerin Ayrıştırılması#

Modern makine öğrenimi ortamında gezinmek için "Çok Modlu Yapay Zeka"yı ilgili kavramlardan ayırt etmek faydalıdır:

• Çok Modlu Öğrenme: Bu, algoritmaları karışık veri türleri üzerinde eğitmenin akademik disiplinini ve metodolojisini ifade eder. "Çok modlu yapay zeka" genellikle pratik uygulamayı veya ortaya çıkan sistemin kendisini ifade eder.
• Büyük Dil Modelleri (LLM): Geleneksel LLM'ler tek modludur ve yalnızca metin verileri üzerinde eğitilmiştir. Bununla birlikte, sektör, PyTorch ve TensorFlow gibi çerçeveler tarafından desteklenen bir trend olan görüntüleri ve metinleri yerel olarak işleyebilen "Büyük Çok Modlu Modeller" (LMM) yönüne doğru kaymaktadır.
• Özelleşmiş Görü Modelleri: Son teknoloji Ultralytics YOLO26 gibi modeller, görsel görevlerde yüksek düzeyde uzmanlaşmış uzmanlardır. Genel bir çok modlu model bir sahneyi genel olarak tanımlayabilirken, özelleşmiş modeller uç donanımlarda yüksek hızlı, hassas nesne tespiti ve gerçek zamanlı işlemede başarılıdır.

Gelecek Görünümü#

Çok modlu yapay zekanın yörüngesi, daha büyük akıl yürütme yeteneklerine sahip sistemlere işaret etmektedir. Dili görsel ve fiziksel gerçekliğe başarıyla dayandıran bu modeller, istatistiksel korelasyonun ötesine geçerek gerçek bir anlayışa doğru ilerlemektedir. Google DeepMind ve Stanford Center for Research on Foundation Models gibi kurumlardan gelen araştırmalar, makinelerin karmaşık ortamları algılama biçiminin sınırlarını zorlamaya devam etmektedir.

Ultralytics olarak, YOLO26 hızını çok modlu girdilerin çok yönlülüğüyle birleştirerek kullanıcıların verileri yönetmesini, modelleri eğitmesini ve mevcut modalitelerin tüm yelpazesinden yararlanan çözümler dağıtmasını sağlayan bu gelişmeleri Ultralytics Platform içine entegre ediyoruz.