SigLIP

Sigmoid Loss for Language Image Pre-Training anlamına gelen SigLIP, görüntü-dil modellerini eğitmek için oldukça verimli bir yaklaşımdır. İlk olarak Google Research araştırmacıları tarafından tanıtılan bu yöntem, yapay zeka modellerinin görüntüler ile bunlara karşılık gelen metin açıklamaları arasındaki ilişkiyi öğrenme biçimini temelden değiştirmektedir. Geleneksel olasılık fonksiyonlarını daha basit bir ikili sınıflandırma yaklaşımıyla değiştiren SigLIP, geliştiricilerin devasa çok modlu mimarileri önemli ölçüde daha az bellek yükü ve daha yüksek hesaplama verimliliğiyle eğitmesine olanak tanır.

Link to this sectionMimarinin Anlaşılması#

Görsel ve metinsel verileri eşleştiren standart makine öğrenimi süreçlerinde modeller, doğru öğrenme için genellikle belirli bir yığındaki (batch) tüm verilerin genel bir görünümüne güvenirler. SigLIP, her görüntü-metin çiftini bağımsız bir ikili sınıflandırma problemi olarak ele alarak bu darboğazı ortadan kaldırır. Standart bir sigmoid fonksiyonu kullanarak model, sadece belirli bir görüntü ve metin açıklamasının eşleşip eşleşmediğini tahmin eder.

Kayıp fonksiyonuna yönelik bu yerelleştirilmiş yaklaşım, model eğitimi sırasında gereken belleğin karesel değil, doğrusal bir şekilde ölçeklenmesi anlamına gelir. Sonuç olarak mühendisler, PyTorch gibi çerçeveler tarafından desteklenen standart donanım yapılandırmalarında çok daha büyük yığın boyutlarından yararlanabilir ve bu da GPU kaynaklarında üstel artışlara gerek kalmadan çeşitli veri setlerinde daha iyi performans elde edilmesini sağlar.

Link to this sectionSigLIP'i CLIP'ten ayıran özellikler#

Modern yapay zeka mimarilerini keşfederken, SigLIP'i selefi olan CLIP (Contrastive Language-Image Pre-training) modelinden ayırt etmek çok önemlidir.

• CLIP: Modelin bir görüntüyü yığın içindeki tüm metin açıklamalarıyla aynı anda karşılaştırmasını gerektiren bir softmax kayıp fonksiyonuna dayanır. Bu durum, yığın boyutları arttıkça derin öğrenme eğitimi sırasında ciddi bir bellek darboğazı yaratır.
• SigLIP: İkili sigmoid kayıp fonksiyonunu kullanır. Yalnızca tek bir görüntü-metin çiftinin doğru bir eşleşme olup olmadığını değerlendirmesi gerekir; bu da onu oldukça ölçeklenebilir kılar ve yapay zeka iş akışlarını optimize ederken birden fazla cihaza dağıtılmasını kolaylaştırır.

Link to this sectionGerçek Dünya Uygulamaları#

SigLIP'in bellek dostu tasarımı, onu teknoloji endüstrisindeki çeşitli pratik uygulamalar için güçlü bir temel haline getirir:

• Sıfır Örnekli Görüntü Sınıflandırma: SigLIP, görüntüleri eğitim sırasında hiç açıkça görmediği yeni sınıflara ayırma konusunda mükemmeldir. Bu, kategorilerin sık sık değiştiği dinamik görüntü sınıflandırma sistemleri için son derece kullanışlıdır ve sürekli manuel veri etiketleme ihtiyacını ortadan kaldırır.
• Anlamsal Arama Motorları: Oldukça doğru çok modlu gömmeler (embeddings) üreterek, SigLIP gelişmiş geri alma sistemlerine güç verir. Kullanıcılar, devasa ve yapılandırılmamış görüntü veritabanlarında yüksek hassasiyetle arama yapmak için karmaşık metin sorguları girebilirler.

When managing custom data for these types of complex vision tasks, teams often turn to the Ultralytics Platform to streamline cloud dataset annotation and seamlessly integrate text and image insights before deploying advanced models like Ultralytics YOLO26 for high-speed edge inference.

Link to this sectionUygulama Örneği#

SigLIP'in temel düzeyde kaybı nasıl hesapladığını anlamak için süreci temel PyTorch işlemleriyle simüle edebilirsin. Bu kod parçacığı, ikili sigmoid yaklaşımının geleneksel çok sınıflı olasılık mantığının yerini nasıl aldığını gösterir.

import torch
import torch.nn.functional as F

# Simulate image and text embeddings from a vision-language model
image_embeddings = torch.randn(4, 256)
text_embeddings = torch.randn(4, 256)

# Calculate pairwise similarities (logits)
logits = torch.matmul(image_embeddings, text_embeddings.T)

# SigLIP uses a binary formulation: 1 for positive pairs, -1 for negative pairs
labels = torch.eye(4) * 2 - 1
loss = -F.logsigmoid(labels * logits).mean()

print(f"Calculated SigLIP Loss: {loss.item():.4f}")

Bu kolaylaştırılmış yaklaşımdan yararlanarak, IEEE ve ACM gibi kurumlarda yayın yapan araştırmacılar da dahil olmak üzere geniş yapay zeka topluluğu, çok modlu öğrenmenin sınırlarını zorlamaya devam ediyor ve yeni nesil görüntü yapay zekası için yeni model eğitimi ipuçları ile en iyi uygulamaları oluşturuyor.