Transformer

Transformer, doğal dil veya görsel özellikler gibi sıralı girdi verilerini işlemek için öz-dikkat (self-attention) adı verilen bir mekanizmaya dayanan bir derin öğrenme mimarisidir. Google araştırmacıları tarafından çığır açan Attention Is All You Need makalesinde ilk kez tanıtılan Transformer, daha önceki Yinelemeli Sinir Ağlarının (RNN) sıralı işleme sınırlamalarını ortadan kaldırarak yapay zeka (AI) alanında devrim yaratmıştır. Bunun yerine Transformer'lar, tüm veri dizilerini aynı anda analiz ederek devasa düzeyde paralelleştirmeye ve GPU gibi modern donanımlarda çok daha hızlı eğitim sürelerine olanak tanır.

Transformer'lar Nasıl Çalışır#

Transformer'ın temel inovasyonu öz-dikkat (self-attention) mekanizmasıdır. Bu, modelin girdi verilerinin farklı kısımlarının önemini birbirine göre tartmasını sağlar. Örneğin, bir cümlede model, çevre bağlama dayanarak "bank" kelimesinin "river" (nehir) yerine "money" (para) ile daha yakından ilişkili olduğunu öğrenebilir.

Bu mimari genel olarak iki ana bileşenden oluşur:

• Kodlayıcı (Encoder): Girdi verilerini zengin bir sayısal temsile veya gömülü yapıya (embedding) dönüştürür.
• Kod Çözücü (Decoder): Kodlayıcının çıktısını kullanarak çevrilmiş bir cümle veya tahmin edilen bir sınırlayıcı kutu (bounding box) gibi nihai sonucu üretir.

Bilgisayarlı Görü (CV) alanında modeller genellikle Görüntü Transformer'ı (ViT) adı verilen bir varyantı kullanır. Metin belirteçlerini (tokens) işlemek yerine görüntü, sabit boyutlu parçalara (örn. 16x16 piksel) bölünür. Bu parçalar düzleştirilip bir dizi olarak ele alınır; bu sayede model, standart bir Evrişimli Sinir Ağından (CNN) daha etkili bir şekilde "küresel bağlamı" (görüntünün uzak kısımları arasındaki ilişkileri anlamayı) yakalayabilir.

Transformer'lar ve İlgili Kavramlar#

Transformer mimarisini ilgili terimlerden ayırt etmek önemlidir:

• Dikkat Mekanizması (Attention Mechanism): Bu, verilerin belirli bölümlerine odaklanmanın genel kavramıdır. Transformer, tamamen dikkat katmanları etrafında oluşturulmuş özel bir mimari iken, diğer modeller dikkati yalnızca küçük bir eklenti olarak kullanabilir.
• Büyük Dil Modeli (LLM): "GPT" gibi terimler, devasa metin verileri üzerinde eğitilmiş belirli modelleri ifade eder. Neredeyse tüm modern LLM'ler, temel motor olarak Transformer mimarisini kullanır.

Gerçek Dünya Uygulamaları#

Transformer'ların çok yönlülüğü, çeşitli sektörlerde benimsenmelerine yol açmıştır:

1. Tıbbi Görüntüleme: Sağlık Sektöründe Yapay Zeka alanında Transformer'lar, tıbbi görüntü analizi gibi karmaşık görevler için kullanılır. Küresel uzamsal ilişkileri anlama yetenekleri, yerel özellik odaklı CNN'lerin gözden kaçırabileceği yüksek çözünürlüklü MR veya BT taramalarındaki ince anormalliklerin tespit edilmesine yardımcı olur.

2. Otonom Sistemler: Otonom araçlar için yayaların ve diğer araçların yörüngesini anlamak kritik önem taşır. Transformer'lar, nesneleri zaman dilimleri boyunca takip ederek gelecekteki hareketleri tahmin etmeyi ve güvenli seyrüseferi sağlamayı video anlama konusunda mükemmel bir şekilde gerçekleştirir.

Transformer ile Nesne Tespiti#

CNN'ler geleneksel olarak nesne tespiti alanına hâkim olsa da, Gerçek Zamanlı Algılama Transformer'ı (RT-DETR) gibi Transformer tabanlı modeller güçlü alternatifler olarak ortaya çıkmıştır. RT-DETR, CNN ana omurgalarının hızını Transformer kod çözme başlıklarının hassasiyetiyle birleştirir.

Ancak saf Transformer modelleri hesaplama açısından ağır olabilir. Verimli dikkat mekanizmalarını hızlı evrişimli işlemeyle entegre eden YOLO26 gibi son derece optimize edilmiş hibrit modeller, birçok uç cihaz (edge) uygulaması için üstün bir hız ve doğruluk dengesi sunar. Veri seti etiketlemesinden model dışa aktarmaya kadar iş akışını kolaylaştıran Ultralytics Platform aracılığıyla bu modellerin eğitimini ve dağıtımını kolayca yönetebilirsiniz.

Python Örneği: RT-DETR Kullanımı#

Aşağıdaki örnek, ultralytics paketi içinde Transformer tabanlı bir model kullanarak çıkarımın nasıl gerçekleştirileceğini göstermektedir. Bu kod, önceden eğitilmiş bir RT-DETR modelini yükler ve bir görüntünün içindeki nesneleri tespit eder.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

Matematiksel temeller hakkında daha fazla okuma yapmak için Transformer katmanları hakkındaki PyTorch belgeleri teknik derinlik sağlarken, IBM'in Transformer kılavuzu üst düzey bir iş perspektifi sunar.