Self-Attention

Öz-dikkat, derin öğrenmede modellerin bir girdi dizisindeki farklı öğelerin birbirlerine göre önemini ağırlıklandırmasını sağlayan temel bir mekanizmadır. Verileri sıralı olarak işleyen veya yalnızca yerel komşuluklara odaklanan geleneksel mimarilerin aksine öz-dikkat, bir sinir ağının tüm bağlamı aynı anda incelemesine olanak tanır. Bu özellik, sistemlerin bir cümledeki sözcükler veya bir görüntüdeki farklı bölgeler gibi verilerin uzak bölümleri arasındaki karmaşık ilişkileri belirlemesine yardımcı olur. Bu mekanizma, üretken yapay zekâ ve modern algılama sistemlerinde büyük ilerlemeler sağlayan Transformer mimarisinin temel yapı taşıdır.

Öz-Dikkat Nasıl Çalışır#

Bu mekanizma, her girdi özelliğine genellikle "dikkat puanı" adı verilen bir ağırlık atayarak bilişsel odaklanmayı taklit eder. Model, bu puanları hesaplamak için genellikle gömme vektörleri olarak temsil edilen girdi verilerini üç farklı vektöre dönüştürür: Query, Key ve Value.

• Query (Q): Dizinin geri kalanından ilgili bağlamı arayan mevcut öğeyi temsil eder.
• Key (K): Sorgunun karşılaştırıldığı dizideki her öğe için bir etiket veya tanımlayıcı görevi görür.
• Value (V): Birleştirilecek öğenin gerçek bilgi içeriğini barındırır.

Model, uyumluluğu belirlemek için bir öğenin Query'sini diğer tüm öğelerin Key'leriyle karşılaştırır. Bu uyumluluk puanları, olasılık benzeri ağırlıklar oluşturmak üzere bir softmax işlevi kullanılarak normalleştirilir. Ardından bu ağırlıklar Value'lara uygulanarak bağlam açısından zengin bir temsil oluşturulur. Bu süreç, Büyük Dil Modellerinin (LLMs) ve görsel sistemlerin gürültüyü filtrelerken önemli bilgileri önceliklendirmesini sağlar.

Gerçek Dünya Uygulamaları#

Öz-dikkatin çok yönlülüğü, Yapay Zekâ (AI) alanının çeşitli bölümlerinde yaygın olarak benimsenmesini sağlamıştır.

• Doğal Dil İşleme (NLP): Makine çevirisi gibi görevlerde öz-dikkat, zamirleri karşılık geldikleri ifadelerle ilişkilendirerek belirsizliği giderir. Örneğin, "Hayvan sokağı geçmedi çünkü çok yorgundu" cümlesinde model, öz-dikkati kullanarak "it" ifadesini "street" yerine güçlü biçimde "animal" ile ilişkilendirir. Bu bağlamsal farkındalık, Google Translate gibi araçların temelini oluşturur.
• Küresel Görüntü Bağlamı: Bilgisayarlı Görü (CV) alanında Görsel Transformer (ViT) gibi mimariler, görüntüleri parçalara böler ve sahneyi küresel olarak anlamak için öz-dikkat uygular. Bu, bir nesnenin tanımlanmasının çevresini anlamaya bağlı olduğu karmaşık ortamlarda nesne algılama için hayati önem taşır.

İlişkili Terimleri Ayırt Etme#

Benzer kavramlarla birlikte sıkça ele alınsalar da bu terimlerin teknik tanımları birbirinden farklıdır:

• Dikkat Mekanizması: Modellerin verilerin belirli bölümlerine odaklanmasını sağlayan tekniklerin genel kategorisidir. Bir modelin farklı bir diziyi (örneğin kodlayıcı girdisini) sorgulamak için bir diziyi (örneğin kod çözücü çıktısını) kullandığı Cross-Attention'ı da kapsar.
• Öz-Dikkat: Query, Key ve Value'nun tümünün aynı girdi dizisinden kaynaklandığı belirli bir dikkat türüdür. Tek bir veri kümesi içindeki iç bağımlılıkları öğrenmek üzere tasarlanmıştır.
• Flash Attention: Stanford Üniversitesindeki araştırmacılar tarafından geliştirilen ve matematiksel çıktıyı değiştirmeden öz-dikkat hesaplamasını GPU'larda önemli ölçüde daha hızlı ve bellek açısından daha verimli hâle getiren bir optimizasyon algoritmasıdır.

Kod Örneği#

Aşağıdaki Python kod parçacığı, ultralytics paketinde bulunan Transformer tabanlı bir nesne algılayıcı olan RTDETR'ın nasıl kullanılacağını gösterir. Standart evrişimli ağların aksine bu model, görsel özellikleri işlemek için büyük ölçüde öz-dikkata dayanır.

from ultralytics import RTDETR

# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")

Gelişim ve Gelecekteki Etki#

Öz-dikkat, önceki Yinelemeli Sinir Ağlarını (RNNs) engelleyen kaybolan gradyan sorununu etkili bir şekilde çözdü ve devasa temel modellerin eğitilmesini mümkün kıldı. Oldukça etkili olsa da standart öz-dikkatin hesaplama maliyeti dizi uzunluğuyla karesel olarak artar. Bu sorunu ele almak için güncel araştırmalar verimli doğrusal dikkat mekanizmalarına odaklanmaktadır.

Ultralytics, bu gelişmeleri YOLO26 gibi en son teknoloji ürünü modellere entegre eder; bu modeller üstün gerçek zamanlı çıkarım için CNN'lerin hızını dikkatin bağlamsal gücüyle birleştirir. Bu optimize edilmiş modeller, Ultralytics Platformu aracılığıyla kolayca eğitilip dağıtılabilir ve yeni nesil akıllı uygulamalar geliştiren geliştiricilerin iş akışını kolaylaştırır.