Image Captioning

Görüntü açıklaması, bir görüntünün doğal dilde açıklamasını otomatik olarak oluşturan bir AI görevidir. Örneğin, bir sokak fotoğrafı verildiğinde bir sistem şu çıktıyı üretebilir: "Şehir otobüsü bir kavşakta yayaların yanından geçiyor." Bu görev, görsel algıyı dil üretimiyle birleştirir; bu nedenle modelin önemli içeriği belirlemesi, nesneler arasındaki ilişkileri anlaması ve bu bilgiyi net bir şekilde ifade etmesi gerekir.

Açıklama oluşturma genellikle görsel ve metinsel veriler üzerinde çalışan bir vision-language model tarafından gerçekleştirilir. El yazısıyla yazılmış bir fotoğraf açıklamasının aksine, AI tarafından oluşturulan bir açıklama, görüntü-metin çiftlerinden öğrenilen kalıplara dayanan bir tahmindir.

Görüntü Açıklaması Nasıl Çalışır?#

Bir görüntü açıklaması sistemi genellikle birbiriyle bağlantılı iki aşamadan oluşur:

1. Bir vision encoder, pikselleri nesneleri, dokuları, konumları ve daha geniş sahnemsi bilgileri açıklayan özellik temsillerine dönüştürür.
2. Bir language decoder, bu görsel özellikleri bir kelime dizisine dönüştürür.

Birçok sistem bir transformer kod çözücü kullanır. Bu sistem bir başlangıç jetonuyla başlar, sonraki jetonu tahmin eder, bunu diziye ekler ve bir bitiş jetonu üretene veya bir uzunluk sınırına ulaşana kadar tekrarlar. Google Machine Learning Glossary, bu jeton jeton süreçini otoregresif üretim olarak tanımlar.

Bir attention mechanism, kod çözücünün her kelimeyi seçerken ilgili görüntü bölgelerine odaklanmasına yardımcı olur. "Otobüs" kelimesini üretirken araca vurgu yapabilir; "sokak" kelimesini üretirken çevredeki yola odaklanabilir. TensorFlow image captioning tutorial; görüntü özelliklerinin, jetonlaştırmanın, çapraz dikkatin ve bir metin kod çözücünün nasıl bir araya geldiğini gösterir.

Eğitim genellikle bir veya daha fazla insan tarafından yazılmış açıklamayla eşleştirilmiş görüntüler gerektirir. Birden fazla açıklama faydalıdır çünkü aynı görüntü, "Köpekle oynayan bir çocuk" ve "Genç bir insan evcil hayvan için top atıyor" gibi farklı şekillerde doğru bir şekilde tanımlanabilir.

İlgili Görsel Görevlerinden Farkları#

Görüntü açıklaması, çeşitli AI görevleriyle örtüşür ancak farklı bir çıktı üretir:

• Image classification, tüm görüntüye "plaj" gibi bir veya daha fazla etiket atar. Açıklama oluşturma; nesneleri, eylemleri, nitelikleri ve bağlamı tanımlayabilecek bir cümle üretir.
• Object detection, önceden tanımlanmış nesneleri sınırlayıcı kutularla tanımlar ve konumlandırır. Açıklama oluşturma bu nesnelerden bahsedebilir, ancak aynı zamanda "Arabanın yanında giden iki bisikletçi" gibi ilişkilerini de tanımlar.
• Optical character recognition, tabelalardan, belgelerden veya ambalajlardan görünür yazıları çıkarır. Bir açıklama, tüm metni dönüştürmek yerine sahneyi özetler.
• Visual question answering, bir görüntü hakkında belirli bir soruyu yanıtlar. Açıklama oluşturma, bir soru gerektirmeden genel bir açıklama oluşturur.
• Alt text, belirli bir bağlamda bir görüntünün amacını iletir. Otomatik bir açıklama bir taslak sağlayabilir, ancak otomatik olarak uygun alt text değildir çünkü dekoratif, işlevsel ve karmaşık görüntüler W3C Images Tutorial kapsamında farklı bir işlem gerektirir.

Gerçek Dünya Uygulamaları#

• Accessible Web Content: Bir yayın platformu, yeni yüklenen fotoğraflar için taslak açıklamalar üretebilir. Bir haber görseli için açıklama, bir editör doğruluk ve uygunluk açısından kontrol etmeden önce ana kişileri, ortamı ve eylemi belirleyebilir. Karmaşık diyagramlar, genel bir görsel özet yerine hala yapılandırılmış uzun bir açıklamaya ihtiyaç duyar.

• Searchable Media Libraries: Bir perakendeci veya medya şirketi, büyük görüntü koleksiyonlarına açıklama ekleyebilir ve üretilen metni dizine ekleyebilir. Kullanıcılar daha sonra dosyalar asla manuel olarak etiketlenmemiş olsa bile "çadırın yanındaki kırmızı sırt çantası" gibi ifadeleri arayabilirler. Açıklamalar görsel gömmeleri ve meta verileri tamamlayarak büyük kataloglarda keşfedilebilirliği artırabilir.

Ultralytics YOLO ile Pratik Temellendirme#

Açıklama üreteçleri, özellikle kalabalık veya tanıdık olmayan sahnelerde desteklenmeyen ayrıntılar uydurabilir. Pratik tasarımlardan biri, üretimi Ultralytics YOLO26 yapısından alınan yapılandırılmış gözlemlerle temellendirmektir. Belgelenen şu YOLO prediction workflow, sonraki bir dil bileşeninin görsel bağlam olarak kullanabileceği algılanan nesne adlarını çıkarır:

from ultralytics import YOLO

# Detect objects that can ground a downstream caption generator
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact textual context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

Bu iş akışı son açıklamayı üretmez. Bunun yerine, bir dil modelini kısıtlayabilecek doğrulanabilir nesne etiketleri sağlar. Özel alanlar için Ultralytics Platform, bir açıklama oluşturma boru hattının algılama bileşeni için bulut veri kümesi ek açıklaması, eğitimi, dağıtımı ve izlenmesini destekler.

Sınırlamalar ve Değerlendirme#

Açıklamalar önemli nesneleri atlayabilir, ilişkileri karıştırabilir, veri kümesi önyargısını yeniden üretebilir veya görünmeyen ayrıntıları halüsinasyon olarak üretebilir. Azure image description API tarafından gösterildiği gibi güven puanları aday açıklamaları sıralamaya yardımcı olabilir, ancak akıcı bir cümle mutlaka olgusal değildir.

Bu nedenle değerlendirme; nesne kapsamını, olgusal temellendirmeyi, okunabilirliği, önyargıyı ve hedeflenen kitle için kullanışlılığı incelemelidir. Birkaç açıklama eşit derecede doğru olabileceğinden, ekipler generative AI evaluation ve daha geniş NIST AI Risk Management Framework gibi uygulamaları takip ederek otomatik ölçümleri insan incelemesiyle birleştirmelidir. İnsan onayı özellikle erişilebilirlik, tıbbi, güvenlik açısından kritik veya kamuya açık içerikler için önemini korumaktadır.