Grounding

Temellendirme, sözcükleri veya diğer sembolleri karşılık geldikleri şeylerle ilişkilendirme sürecidir; böylece bir AI sisteminin dili, işaret edebileceği kanıtlara bağlanır. Bilgisayarlı görüde görsel temellendirme, bir ifadenin tanımladığı görüntü veya video bölgesini bulmak anlamına gelir: temellendirilmiş bir model, "bej paltolu adam" ifadesi için adamın çevresine bir sınırlayıcı kutu veya maske döndürür. Büyük dil modellerinde (LLM'ler) temellendirme, üretilen metni alınan belgelere, arama sonuçlarına veya araç çıktılarıyla ilişkilendirerek iddiaların bir kaynağa kadar izlenebilmesini sağlar. Her iki anlam da bilişsel bilimci Stevan Harnad'ın 1990'da ortaya attığı sembol temellendirme problemine dayanır: Bir sistemin işlediği semboller, yalnızca onları okuyan kişiler için değil, o sistem için de nasıl anlam taşıyabilir?

Görsel Temellendirme Görevleri#

• İfade temellendirme: Bir açıklamadaki hem "bir kadın" hem de "köpeği" gibi, cümlede adı geçen her nesneyi bul.
• Belirten ifadeyi anlama: "Soldan ikinci araba" gibi bir ifadenin işaret ettiği tek nesneyi bul. RefCOCO, RefCOCO+ ve RefCOCOg kıyaslama kümeleri, COCO görüntüleri için bu tür ifadeleri derler. RefCOCO+ ise ifadelerin görünüşü tanımlamasını zorunlu kılmak için "sol" gibi konum sözcüklerini yasaklar.
• Açık sözcük dağarcıklı tespit: Kapalı küme nesne tespiti modelinin sabit sınıf listesinin ötesine geçerek çıkarım sırasında metinde adı geçen kategorilerin tüm örneklerini bul.
• Temellendirilmiş açıklama yazımı ve yanıtlar: Bir görsel dil modeli (VLM) bir açıklama veya yanıt yazar ve sözünü ettiği her nesneye bir kutu ekler.
• Zamansal ve 3B temellendirme: Bir cümlenin videoda tanımladığı anı veya bir odanın 3B taramasındaki nesneyi bul.

Temellendirme Modelleri Nasıl Çalışır#

Bir temellendirme modeli metni ve görüntüyü kodlar, görüntüdeki her aday bölgeyi her ifadeye göre puanlar ve puanları bir eşiği geçen bölgeleri tutar. Eğitim, iki gömme uzayını çoğu zaman görüntü-metin çiftleri üzerinde karşıt öğrenme kullanarak hizalar; böylece "mavi sırt çantası" gömmesi mavi sırt çantalarının özelliklerine yakın konumlanır. Daha güçlü modeller, çapraz dikkati kullanarak kipleri erken aşamada da birleştirir ve sözcüklerin ağın hangi görsel özellikleri hesaplayacağını yönlendirmesini sağlar.

GLIP, nesne algılamayı tümce yer belirleme olarak yeniden ele aldı; böylece algılama ve yer belirleme verileri tek bir modeli eğitebildi. Ultralytics Platform'un otomatik etiketleme için barındırdığı Grounding DINO, kategori adlarını veya gönderim ifadelerini kabul eder ve herhangi bir COCO eğitim verisi olmadan COCO üzerinde 52,5 AP'ye ulaşmıştır. Kasım 2025'te yayımlanan ve Platform'da SAM 3 Text olarak barındırılan Meta'nın SAM 3 modeli, “sarı okul otobüsü” gibi kısa bir isim öbeğinin her örneğini görüntüler ve videolar boyunca segmentlere ayırıp izler. Üretken VLM'ler, yanıtlarının yanında kutu koordinatlarını metin veya özel konum tokenları olarak yazarak yer belirler. VLM Liderlik Tablosu, açık kelime dağarcıklı algılayıcıların ve üretken VLM'lerin gerçek dünya algılama veri kümelerindeki sınıf adlarını ne kadar doğru yer belirlediğini karşılaştırır.

Tsinghua Üniversitesi araştırmacılarının tanıttığı ve Ultralytics paketinde YOLO26 mimarisini temel alan YOLOE-26 olarak bulunan YOLOE, kategori adlarını ve kısa ifadeleri gerçek zamanlı olarak temellendirir: Bir metin kodlayıcısı her ifadeyi bir gömmeye dönüştürür ve tespit başlığı bunu görüntüdeki her bölgeyle eşleştirir:

from ultralytics import YOLOE

# Açık söz varlıklı bir YOLOE-26 algılama ve segmentasyon modeli yükle
model = YOLOE("yoloe-26s-seg.pt")

# Her ifade, metin kodlayıcısı tarafından bir kez gömülür ve modelin bulabileceği bir sınıfa dönüşür
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Temellendirilmiş her ifadeyi piksel kutusuyla (x1, y1, x2, y2) yazdır
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

Yazdırılan her satır, ifadelerden birini YOLOE'nin o ifadeyi temellendirdiği bölgeyle eşleştirir; görüntüde eşleşmesi olmayan bir ifade hiçbir şey yazdırmaz.

Uygulamalar#

• Robotik: "Dizüstü bilgisayarın yanındaki kırmızı kupayı al" denilen bir robot, kavrama planı yapmadan önce bu ifadeyi tek bir nesneye ve nesnenin 3B konumuna temellendirmelidir.
• Veri anotasyonu: Açık söz varlıklı algılayıcılar, ad listesinden yeni sınıflar için kutu ve maskeler taslak olarak oluşturur; anotatörler bunları sıfırdan çizmek yerine düzeltir. Ultralytics Platform, bir YOLO26 modeli düzeltilmiş etiketler üzerinde eğitilmeden önce algılama veri kümelerini bu şekilde otomatik anotasyonlar.
• Video arama: Zamansal temellendirme, saatlerce süren görüntüler arasından "kavşakta sola dönen bisikletli" klibini getirir.
• Erişilebilirlik: Yardımcı uygulamalar, nesneyi yalnızca adlandırmak yerine yerini bularak "çıkış tabelası nerede?" sorusunu yanıtlar.

Temellendirme ve İlişkili Terimler#

• Görsel açıklama oluşturma: Bir görseli metne dönüştürür. Grounding ters yönde, metinden tarif ettiği görsel bölgelerine doğru işler.
• Görsel soru yanıtlama (VQA): Bir görsel hakkındaki soruyu sözcüklerle yanıtlar. Grounding içeren VQA, yanıtın dayanağını da gösterir.
• Sıfır örnekli öğrenme: Eğitim örneği olmayan sınıfları tanır. Açık söz dağarcıklı grounding bunu sağlamanın bir yoludur; sözcüklerle tarif edilen bir sınıf için etiketli görsellere gerek yoktur.
• Çok modlu yapay zekâ: Veri türlerini bir araya getiren modellerin daha geniş alanıdır; grounding ise belirli sözcükleri diğer kipliğin belirli bölümleriyle hizalar.

Dil Modellerinde Grounding#

Yalnızca belleğinden yanıt veren bir LLM, kaynak göstermeden akıcı iddialar ortaya atabilir; bu, halüsinasyonun nedenlerinden biridir. Grounding içeren üretim, getirme destekli üretim (RAG), web araması, veritabanı sorguları veya araç çağrıları yoluyla çıkarım sırasında kanıt sağlar ve modelden bu kanıtlara dayanarak yanıt vermesini ve kaynak göstermesini ister. Grounding içeren bir yanıt, kaynaklarına göre iddia iddia denetlenebilir; grounding içeren sistemlerin değerlendirmeleri, her ifadenin getirilen metin tarafından desteklenip desteklenmediğini, getirilen metnin doğru olup olmadığından ayrı olarak ölçer.