Transformer

A Transformer is a deep learning architecture that relies on a mechanism called self-attention to process sequential input data, such as natural language or visual features. Originally introduced by Google researchers in the landmark paper Attention Is All You Need, the Transformer revolutionized the field of artificial intelligence (AI) by discarding the sequential processing limitations of earlier Recurrent Neural Networks (RNNs). Instead, Transformers analyze entire sequences of data simultaneously, allowing for massive parallelization and significantly faster training times on modern hardware like GPUs.

Link to this sectionTransformer'lar Nasıl Çalışır#

Transformer'ın temel yeniliği öz-dikkat mekanizmasıdır. Bu, modelin girdi verilerinin farklı kısımlarının önemini birbirlerine göre tartmasını sağlar. Örneğin, bir cümlede model, "banka" kelimesinin çevreleyen bağlama dayanarak "nehir"den ziyade "para" ile daha yakından ilişkili olduğunu öğrenebilir.

Bu mimari genel olarak iki ana bileşenden oluşur:

• Kodlayıcı (Encoder): Girdi verilerini zengin bir sayısal temsile veya gömülüye (embedding) dönüştürür.
• Kod Çözücü (Decoder): Kodlayıcının çıktısını kullanarak çevrilmiş bir cümle veya tahmin edilen bir sınırlayıcı kutu (bounding box) gibi nihai sonucu üretir.

Bilgisayarlı görü (CV) alanında, modeller genellikle Vision Transformer (ViT) adı verilen bir varyasyonu kullanır. Metin belirteçlerini (tokens) işlemek yerine, görüntü sabit boyutlu yamalara (örneğin 16x16 piksel) bölünür. Bu yamalar düzleştirilir ve bir dizi olarak ele alınır, böylece model standart bir Evrişimli Sinir Ağından (CNN) daha etkili bir şekilde "küresel bağlamı" yakalayarak görüntünün uzak kısımları arasındaki ilişkileri anlayabilir.

Link to this sectionTransformer'lar ve İlgili Kavramlar#

Transformer mimarisini ilgili terimlerden ayırt etmek önemlidir:

• Dikkat Mekanizması: Bu, verilerin belirli kısımlarına odaklanmaya yönelik genel kavramdır. Transformer, tamamen dikkat katmanları üzerine inşa edilmiş belirli bir mimari iken, diğer modeller dikkati yalnızca küçük bir eklenti olarak kullanabilir.
• Büyük Dil Modeli (LLM): "GPT" gibi terimler, çok büyük miktarda metin üzerinde eğitilmiş belirli modellere atıfta bulunur. Neredeyse tüm modern LLM'ler, temel motorları olarak Transformer mimarisini kullanır.

Link to this sectionGerçek Dünya Uygulamaları#

Transformer'ların çok yönlülüğü, çeşitli sektörlerde benimsenmelerine yol açmıştır:

1. Tıbbi Görüntüleme: Sağlık Hizmetlerinde Yapay Zeka alanında, Transformer'lar tıbbi görüntü analizi gibi karmaşık görevler için kullanılır. Küresel uzamsal ilişkileri anlama yetenekleri, yerel özelliklere odaklanan CNN'lerin gözden kaçırabileceği yüksek çözünürlüklü MRI veya CT taramalarındaki ince anomalileri tespit etmeye yardımcı olur.

2. Otonom Sistemler: Otonom araçlar için yayaların ve diğer araçların yörüngesini anlamak kritik öneme sahiptir. Transformer'lar, güvenli navigasyonu sağlamak amacıyla nesneleri zaman dilimleri boyunca takip edip gelecekteki hareketlerini tahmin ederek video anlama konusunda üstün performans gösterir.

Link to this sectionTransformer ile Nesne Tespiti#

CNN'ler geleneksel olarak nesne tespitine hakim olsa da, Real-Time Detection Transformer (RT-DETR) gibi Transformer tabanlı modeller güçlü alternatifler olarak ortaya çıkmıştır. RT-DETR, CNN omurgalarının hızını Transformer kod çözücü başlıklarının hassasiyetiyle birleştirir.

Ancak, saf Transformer modelleri hesaplama açısından ağır olabilir. Birçok uç (edge) uygulaması için, verimli dikkat mekanizmalarını hızlı evrişimli işlemeyle entegre eden YOLO26 gibi yüksek düzeyde optimize edilmiş hibrit modeller, hız ve doğruluk arasında üstün bir denge sunar. Veri kümesi etiketlemeden model dışa aktarmaya kadar iş akışını kolaylaştıran Ultralytics Platform aracılığıyla bu modellerin eğitimini ve dağıtımını kolayca yönetebilirsin.

Link to this sectionPython Örneği: RT-DETR Kullanımı#

Aşağıdaki örnek, ultralytics paketi içinde Transformer tabanlı bir model kullanarak nasıl çıkarım (inference) yapılacağını göstermektedir. Bu kod, önceden eğitilmiş bir RT-DETR modelini yükler ve görüntüdeki nesneleri tespit eder.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

Matematiksel temeller hakkında daha fazla okuma için PyTorch Transformer katmanları belgeleri teknik derinlik sağlarken, IBM'in Transformer rehberi üst düzey bir iş perspektifi sunar.