Visual Reasoning

Görsel akıl yürütme, bir AI modelinin görsel verilerden hareketle birkaç çıkarım adımı gerektiren bir sonuca ulaşma becerisidir: belirli bir koşulu sağlayan nesneleri saymak, boyutlarını veya konumlarını karşılaştırmak, uzamsal ilişkileri izlemek, fiziksel dünyaya ilişkin sağduyuyu kullanmak ya da soyut bir görsel örüntüyü tamamlamak. Bir kupayı tanımak tek bir algılama adımı gerektirirken, “Kupa, masayla aynı malzemeden yapılmış en büyük nesnenin solunda mı?” sorusunu yanıtlamak birkaç adım gerektirir; çünkü yanıt dört nesneye ilişkin bilgileri birleştirir. Bu yetenek, söz konusu bilgileri sağlayan bilgisayarlı görü ile metinde çıkarımları zincirleyen akıl yürütme modelleri arasında yer alır ve görsel soru yanıtlama (VQA) kıyaslamaları, soruları görselde ne olduğunu adlandırmanın ötesine geçtiğinde bu yeteneği sınar.

Görsel Akıl Yürütmeyi Tanımlayan Ölçütler#

Görsel akıl yürütme sınamaları yapay zekâdan öncesine uzanır. John C. Raven'ın Aşamalı Matrisleri (1938), insanlardan 3×3 örüntüyü tamamlayan karoyu seçmelerini ister. Mikhail Bongard'ın 1967 tarihli problemleri ise altı görüntüyü diğer altı görüntüden ayıran kuralı sorar. Makine ölçütleri bu iki fikri benimsedi ve dil boyutunu ekledi:

• CLEVR: Justin Johnson ve Stanford ile Facebook AI Research'teki çalışma arkadaşları, bu tanı amaçlı veri kümesini CVPR 2017'de yayımladı. Basit 3B şekillerden oluşan 100.000 oluşturulmuş sahne ve sayma, karşılaştırma, uzamsal ilişkiler ile mantığı sınayan yaklaşık bir milyon üretilmiş soru içerir; aynı zamanda modellerin tahmin yürütmesini sağlayan veri kümesi yanlılıklarını en aza indirir.
• RAVEN: Makine örüntü tamamlamayı eğitmek ve sınamak için 2019'da oluşturulan, Raven tarzı prosedürel matrislerden oluşan bir veri kümesi.
• ARC: François Chollet'nin 2019 tarihli Soyutlama ve Akıl Yürütme Derlemi; dönüşüm kuralının birkaç örnekten çıkarılması gereken ızgara bulmacaları.
• MathVista: Grafiklerde, çizimlerde, geometri şemalarında ve fotoğraflarda sunulan matematik problemlerini içeren 2023 tarihli bir ölçüt.
• BLINK: Göreli derinlik ve görsel eşleme dâhil 14 klasik görü probleminin çoktan seçmeli sorular biçiminde yeniden düzenlendiği 2024 tarihli bir küme.

BLINK, akıcı çok modlu modellerin insan algısının hâlâ ne kadar gerisinde olduğunu gösterdi: insanların ortalaması yüzde 95,70 iken GPT-4V 51,26, Gemini ise 45,72 puan aldı; bu skorlar rastgele tahminden yalnızca 13,17 ve 7,63 puan yüksekti. Uzmanlaşmış görü modelleri aynı problemleri çok daha iyi çözdü.

Görsel Akıl Yürütme Yaklaşımları#

Uçtan uca görü-dil modelleri (VLM) doğrudan görüntü tokenlarından yanıt verir. Düşünce zinciri istemi, yanıtlamadan önce ara adımları yazmalarını sağlar. Nisan 2025'te yayımlanan OpenAI o3 ve o4-mini, bu yaklaşımı görüntülerle düşünmeye genişletti: model, akıl yürütme sırasında görüntüyü kırpabilir, yakınlaştırabilir ve döndürebilir; ardından sonuca yeniden bakabilir.

Nörosembolik yöntemler, görmeyi akıl yürütmeden ayırır. Jacob Andreas ve meslektaşlarının sinirsel modül ağları (CVPR 2016), "dikkat et" ve "yeniden dikkat et" gibi yeniden kullanılabilir modüllerden her soru için küçük bir ağ oluşturdu. Kexin Yi ve meslektaşlarının NS-VQA'sı (NeurIPS 2018), her CLEVR sahnesini öznitelikleri ve konumları olan nesneler tablosuna ayrıştırdı, soruyu bir programa dönüştürdü ve programı tabloda çalıştırdı. Böylece tamamen izlenebilir bir yanıtla %99,8 doğruluğa ulaştı; bu yaklaşımın kökleri sembolik yapay zekâya dayanır. Görsel programlama da aynı fikri gerçek fotoğraflara taşıdı: CVPR 2023 en iyi makale ödülünü kazanan VisProg ve ViperGPT (ICCV 2023), bir büyük dil modeline (LLM) nesne algılama modeli, derinlik tahmini modeli ve diğer görüntü araçlarını çağıran bir Python programı yazdırır, ardından programı çalıştırır.

Akıl Yürütme Girdileri Olarak Algılama ve Derinlik#

Göreli derinlik BLINK görevlerinden biridir ve görsel bir programın uzmanlaşmış bir modele yönlendireceği soru türünün tam karşılığıdır. YOLO26 her iki girdiyi de sağlar: bir nesne algılama modeli fotoğrafı adlandırılmış kutulara dönüştürür; bir tek görüntüden derinlik modeli ise piksel başına metre cinsinden derinlik haritası döndürür. Böylece birkaç satır mantıkla "Otobüsten kameraya daha yakın biri var mı?" sorusu yanıtlanır:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

Her yanıt belirli bir kutuya ve derinlik değerine kadar izlenebilir; uçtan uca bir modelin yanıtı için bu mümkün değildir. Aynı yaklaşım, robotun önce hangi nesneye uzanacağına karar vermesi gereken robotik ve uzamsal zekâ görevlerine ve harekete geçmeden önce sahneyi kontrol eden ajan tabanlı iş akışlarına ölçeklenebilir.

Görsel Akıl Yürütme ve İlgili Terimler#

VQA bir görev biçimidir: görüntü hakkında sorulan ve kısa yanıtı olan bir soru. Görsel akıl yürütme ise daha zor VQA sorularının gerektirdiği çok adımlı beceridir. Çok modlu yapay zekâ, akıl yürütüp yürütmediğine bakılmaksızın veri türlerini birleştiren tüm modelleri kapsar. Uzamsal akıl yürütme, konumlar, mesafeler ve yönelimlerle ilgili alt alandır; en basit soruları için bir dil modeline hiç ihtiyaç duymaz: BLINK'in göreli derinlik maddeleri, işaretli iki noktadan hangisinin kameraya daha yakın olduğunu sorar ve derinlik haritası bu soruyu iki piksel değerini karşılaştırarak yanıtlar.