Self-Attention

Self-attention is a foundational mechanism in deep learning that enables models to weigh the importance of different elements within an input sequence relative to one another. Unlike traditional architectures that process data sequentially or focus only on local neighborhoods, self-attention allows a neural network to examine the entire context simultaneously. This capability helps systems identify complex relationships between distant parts of data, such as words in a sentence or distinct regions in an image. It serves as the core building block for the Transformer architecture, which has driven massive advancements in generative AI and modern perception systems.

Link to this sectionÖz-Dikkat Nasıl Çalışır#

Bu mekanizma, her bir girdi özelliğine genellikle "dikkat skoru" adı verilen bir ağırlık atayarak bilişsel odağı taklit eder. Bu skorları hesaplamak için model, genellikle gömme olarak temsil edilen girdi verilerini üç farklı vektöre dönüştürür: Sorgu (Query), Anahtar (Key) ve Değer (Value).

• Sorgu (Q): Dizinin geri kalanından ilgili bağlamı arayan mevcut öğeyi temsil eder.
• Anahtar (K): Sorgunun eşleştirildiği dizideki her bir öğe için bir etiket veya tanımlayıcı görevi görür.
• Değer (V): Toplanacak olan öğenin gerçek bilgi içeriğini içerir.

Model, bir öğenin Sorgusunu diğer tüm öğelerin Anahtarlarıyla karşılaştırarak uyumluluğu belirler. Bu uyumluluk skorları, olasılık benzeri ağırlıklar oluşturmak için bir softmax fonksiyonu kullanılarak normalize edilir. Bu ağırlıklar daha sonra Değerlere uygulanarak bağlam açısından zengin bir temsil oluşturur. Bu süreç, Büyük Dil Modellerinin (LLM'ler) ve görme sistemlerinin gürültüyü filtrelerken önemli bilgilere öncelik vermesini sağlar.

Link to this sectionGerçek Dünya Uygulamaları#

Öz-dikkatin çok yönlülüğü, Yapay Zeka (YZ) alanının çeşitli bölümlerinde yaygın olarak benimsenmesine yol açmıştır.

• Doğal Dil İşleme (NLP): Makine çevirisi gibi görevlerde öz-dikkat, zamirleri referanslarıyla ilişkilendirerek belirsizliği giderir. Örneğin, "Hayvan çok yorgun olduğu için caddeyi geçemedi" cümlesinde model, "o" (it) zamirini "cadde" yerine güçlü bir şekilde "hayvan" ile ilişkilendirmek için öz-dikkat kullanır. Bu bağlamsal farkındalık, Google Translate gibi araçlara güç sağlar.
• Küresel Görüntü Bağlamı: Bilgisayarlı Görü (CV) alanında, Görsel Transformer (ViT) gibi mimariler görüntüleri parçalara ayırır ve sahneyi küresel olarak anlamak için öz-dikkat uygular. Bu, bir nesneyi tanımlamanın çevresini anlamaya dayandığı karmaşık ortamlarda nesne algılama için hayati öneme sahiptir.

Link to this sectionİlgili Terimlerin Ayrıştırılması#

Benzer kavramlarla birlikte sıklıkla tartışılsa da, bu terimlerin farklı teknik tanımları vardır:

• Dikkat Mekanizması: Modellerin verilerin belirli kısımlarına odaklanmasını sağlayan geniş teknik kategorisidir. Bir modelin farklı bir diziyi (kod çözücü çıktısı gibi) sorgulamak için bir dizi (kodlayıcı girişi gibi) kullandığı Çapraz-Dikkat'i (Cross-Attention) kapsar.
• Öz-Dikkat: Sorgu, Anahtar ve Değerin hepsinin aynı girdi dizisinden kaynaklandığı özel bir dikkat türüdür. Tek bir veri kümesi içindeki içsel bağımlılıkları öğrenmek için tasarlanmıştır.
• Flash Attention: Stanford Üniversitesi'ndeki araştırmacılar tarafından geliştirilen ve matematiksel çıktıyı değiştirmeden öz-dikkat hesaplamasını GPU'larda önemli ölçüde daha hızlı ve daha bellek verimli hale getiren bir optimizasyon algoritmasıdır.

Link to this sectionKod Örneği#

The following Python snippet demonstrates how to use RTDETR, a Transformer-based object detector included in the ultralytics package. Unlike standard convolutional networks, this model relies heavily on self-attention to process visual features.

from ultralytics import RTDETR

# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")

Link to this sectionEvrim ve Gelecekteki Etki#

Self-attention effectively solved the vanishing gradient problem that hindered earlier Recurrent Neural Networks (RNNs), enabling the training of massive foundation models. While highly effective, the computational cost of standard self-attention grows quadratically with sequence length. To address this, current research focuses on efficient linear attention mechanisms.

Ultralytics, CNN'lerin hızını dikkat mekanizmasının bağlamsal gücüyle birleştiren YOLO26 gibi en gelişmiş modellerle bu yenilikleri entegre eder ve üstün gerçek zamanlı çıkarım sağlar. Bu optimize edilmiş modeller, Ultralytics Platform aracılığıyla kolayca eğitilip dağıtılabilir ve böylece yeni nesil akıllı uygulamalar geliştiren yazılımcılar için iş akışını kolaylaştırır.