Attention Mechanism

Dikkat mekanizması, yapay zekâ (AI) alanında, insanın bilişsel yeteneğinin belirli ayrıntılara odaklanırken ilgisiz bilgileri göz ardı etmesini taklit eden temel bir tekniktir. Derin öğrenme (DL) bağlamında bu mekanizma, bir sinir ağının (NN) girdi verilerinin farklı bölümlerine dinamik olarak farklı önem düzeyleri veya "ağırlıklar" atamasını sağlar. Model, bir görüntünün veya cümlenin tamamını eşit vurgu ile işlemek yerine, bağlamı anlamak için cümledeki belirli bir kelime ya da karmaşık bir görsel sahnedeki belirgin bir nesne gibi en önemli özelliklere odaklanmayı öğrenir. Bu çığır açıcı yaklaşım, Transformer mimarisinin temelini oluşturur ve Doğal Dil İşleme (NLP) alanından gelişmiş bilgisayarlı görüye (CV) kadar birçok alanı dönüştürmüştür.

Dikkat Nasıl Çalışır#

Başlangıçta Tekrarlayan Sinir Ağlarındaki (RNNs) bellek sınırlamalarını çözmek için tasarlanan dikkat mekanizmaları, bir veri dizisinin uzak bölümleri arasında doğrudan bağlantılar oluşturarak kaybolan gradyan sorununu ele alır. Bu süreç genellikle üç bileşeni içeren bir bilgi alma benzetmesiyle açıklanır: Sorgular, Anahtarlar ve Değerler.

• Sorgu (Q): Modelin o anda ne aradığını temsil eder (ör. bir cümlenin öznesi).
• Anahtar (K): Girdide mevcut olan bilgilerin tanımlayıcısı olarak görev yapar.
• Değer (V): Gerçek bilgi içeriğini barındırır.

Model, Sorguyu çeşitli Anahtarlarla karşılaştırarak bir dikkat puanı hesaplar. Bu puan, Değerin ne kadarının alınacağını ve çıktıyı oluşturmak için kullanılacağını belirler. Bu sayede modeller, birbirlerinden uzaklıklarına bakılmaksızın veri noktaları arasındaki ilişkileri anlayarak uzun menzilli bağımlılıkları etkili bir şekilde ele alabilir.

Gerçek Dünya Uygulamaları#

Dikkat mekanizmaları, modern teknolojideki en görünür gelişmelerden bazılarını mümkün kılmıştır.

• Makine Çevirisi: Google Translate gibi sistemler, diller arasındaki kelimeleri hizalamak için dikkate dayanır. "The black cat" (İngilizce) ifadesini "Le chat noir" (Fransızca) olarak çevirirken modelin sıfat-isim sırasını değiştirmesi gerekir. Dikkat mekanizması, dil bilgisi doğruluğunu sağlamak için kod çözücünün "noir" oluştururken "black" kelimesine, "chat" oluştururken ise "cat" kelimesine odaklanmasını sağlar.
• Tıbbi Görüntü Analizi: Sağlık hizmetlerinde dikkat haritaları, X-ray veya MRI taramalarındaki şüpheli bölgeleri vurgulayarak radyologlara yardımcı olur. Örneğin, beyin tümörü veri kümelerindeki anomalileri teşhis ederken model, sağlıklı beyin dokusunu filtrelerken işlem gücünü tümör dokusuna odaklar ve tanısal kesinliği artırır.
• Otonom Araçlar: Sürücüsüz araçlar, kritik yol unsurlarına öncelik vermek için görsel dikkati kullanır. Sistem, yoğun bir caddede yayalara ve trafik ışıklarına yüksek öncelikli sinyaller olarak yoğun şekilde odaklanırken gökyüzü veya binalar gibi statik arka plan unsurlarına daha az dikkat eder.

Dikkat ve Evrişim Karşılaştırması#

Dikkati Evrişimli Sinir Ağlarından (CNNs) ayırt etmek önemlidir. CNNs, kenarları ve dokuları tespit etmek için sabit bir pencereyi (kernel) kullanarak verileri yerel olarak işlerken dikkat mekanizması verileri küresel olarak işler ve girdinin her bölümünü diğer tüm bölümlerle ilişkilendirir.

• Öz-Dikkat: Modelin tek bir dizi içindeki bağlamı anlamak için kendisine baktığı özel bir dikkat türüdür.
• Verimlilik: Saf dikkat modelleri hesaplama açısından maliyetli olabilir (karesel karmaşıklık). Flash Attention gibi modern optimizasyon teknikleri, eğitimi hızlandırmak için GPU donanımından daha etkili yararlanır.

Ultralytics YOLO26 gibi son teknoloji modeller gelişmiş CNN yapıları kullanarak gerçek zamanlı çıkarım için optimize edilirken RT-DETR (Gerçek Zamanlı Tespit Transformer) gibi hibrit mimariler yüksek doğruluk elde etmek için açıkça dikkat mekanizmalarını kullanır. Her iki model türü de Ultralytics Platformu kullanılarak kolayca eğitilebilir ve dağıtılabilir.

Kod Örneği#

Aşağıdaki Python örneği, nesne tespiti için temel olarak dikkat mekanizmalarına dayanan bir model mimarisi olan RT-DETR kullanılarak nasıl çıkarım yapılacağını gösterir.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which uses attention mechanisms
# This model captures global context effectively compared to pure CNNs
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of detections found via transformer attention
print(f"Detected {len(results[0].boxes)} objects using attention-based detection.")