Attention Mechanism

An attention mechanism is a foundational technique in artificial intelligence (AI) that mimics the human cognitive ability to focus on specific details while ignoring irrelevant information. In the context of deep learning (DL), this mechanism allows a neural network (NN) to dynamically assign different levels of importance, or "weights," to different parts of the input data. Instead of processing an entire image or sentence with equal emphasis, the model learns to attend to the most significant features—such as a specific word in a sentence to understand context, or a distinct object in a complex visual scene. This breakthrough is the driving force behind the Transformer architecture, which has revolutionized fields ranging from Natural Language Processing (NLP) to advanced computer vision (CV).

Link to this sectionDikkat Nasıl Çalışır#

Başlangıçta Yinelemeli Sinir Ağlarındaki (RNN'ler) bellek sınırlamalarını çözmek için tasarlanan dikkat mekanizmaları, bir veri dizisinin uzak kısımları arasında doğrudan bağlantılar oluşturarak kaybolan gradyan sorununu ele alır. Süreç genellikle Sorgular, Anahtarlar ve Değerler olmak üzere üç bileşeni içeren bir geri alma analojisi kullanılarak tanımlanır.

• Sorgu (Q): Modelin o anda ne aradığını temsil eder (örneğin, bir cümlenin öznesi).
• Anahtar (K): Girdide mevcut olan bilgiler için bir tanımlayıcı görevi görür.
• Değer (V): Gerçek bilgi içeriğini barındırır.

Model, Sorguyu çeşitli Anahtarlarla karşılaştırarak bir dikkat puanı hesaplar. Bu puan, çıktıyı oluşturmak için Değerin ne kadarının geri alınacağını ve kullanılacağını belirler. Bu, modellerin veriler arasındaki mesafeden bağımsız olarak veri noktaları arasındaki ilişkileri anlayarak uzun menzilli bağımlılıkları etkili bir şekilde işlemesini sağlar.

Link to this sectionGerçek Dünya Uygulamaları#

Dikkat mekanizmaları, modern teknolojideki en görünür ilerlemelerden bazılarını mümkün kılmıştır.

• Makine Çevirisi: Google Translate gibi sistemler, diller arasındaki kelimeleri hizalamak için dikkate güvenir. "The black cat" ifadesini İngilizceden "Le chat noir" ifadesine (Fransızca) çevirirken, model sıfat-isim sırasını değiştirmelidir. Dikkat mekanizması, kod çözücünün "noir" üretirken "black" kelimesine ve "chat" üretirken "cat" kelimesine odaklanmasını sağlayarak dilbilgisi doğruluğunu garantiler.
• Tıbbi Görüntü Analizi: Sağlık hizmetlerinde dikkat haritaları, röntgen veya MRI taramalarındaki şüpheli bölgeleri vurgulayarak radyologlara yardımcı olur. Örneğin, beyin tümörü veri kümelerindeki anomaliler teşhis edilirken model, işleme gücünü tümör dokusuna odaklayıp sağlıklı beyin dokusunu filtreleyerek teşhis hassasiyetini artırır.
• Otonom Araçlar: Sürücüsüz araçlar, kritik yol öğelerine öncelik vermek için görsel dikkati kullanır. Yoğun bir caddede sistem, gökyüzü veya binalar gibi statik arka plan öğelerine daha az dikkat ederek yayalara ve trafik ışıklarına yoğun bir şekilde odaklanır ve bunları yüksek öncelikli sinyaller olarak ele alır.

Link to this sectionDikkat vs. Konvolüsyon#

Dikkat mekanizmasını Konvolüsyonel Sinir Ağlarından (CNN'ler) ayırmak önemlidir. CNN'ler kenarları ve dokuları tespit etmek için sabit bir pencere (çekirdek) kullanarak verileri yerel olarak işlerken, dikkat mekanizması verileri küresel olarak işleyerek girdinin her parçasını diğer her parça ile ilişkilendirir.

• Öz-Dikkat (Self-Attention): Modelin tek bir dizi içindeki bağlamı anlamak için kendisine baktığı özel bir dikkat türüdür.
• Verimlilik: Saf dikkat modelleri hesaplama açısından pahalı olabilir (ikinci dereceden karmaşıklık). Flash Attention gibi modern optimizasyon teknikleri, eğitimi hızlandırmak için GPU donanımını daha etkili bir şekilde kullanır.

Ultralytics YOLO26 gibi son teknoloji modeller gelişmiş CNN yapıları kullanılarak gerçek zamanlı çıkarım için optimize edilmiş olsa da, RT-DETR (Gerçek Zamanlı Tespit Transformer'ı) gibi hibrit mimariler yüksek doğruluk elde etmek için açıkça dikkat mekanizmasını kullanır. Her iki model türü de Ultralytics Platform kullanılarak kolayca eğitilebilir ve dağıtılabilir.

Link to this sectionKod Örneği#

The following Python example demonstrates how to perform inference using RT-DETR, a model architecture that fundamentally relies on attention mechanisms for object detection.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which uses attention mechanisms
# This model captures global context effectively compared to pure CNNs
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of detections found via transformer attention
print(f"Detected {len(results[0].boxes)} objects using attention-based detection.")