Öz-İlgi (Self-Attention)

Öz-dikkat, derin öğrenme modellerinde farklı faktörlerin önemini tartmalarını sağlayan bir mekanizmadır. Bir girdi dizisindeki öğeler birbirlerine göre. Verileri sıralı olarak işleyen geleneksel mimarilerin aksine veya yerel olarak, kendi kendine dikkat, bir modelin tüm diziye bir kerede bakmasına ve hangi parçaların en önemli olduğunu belirlemesine olanak tanır. mevcut unsuru anlamakla ilgilidir. Bu kabiliyet, aşağıdaki özelliklerin tanımlayıcısıdır Devrim yaratan transformatör mimarisi arasında değişen alanlar Doğal Dil İşleme (NLP) gelişmiş Bilgisayarlı Görüş (CV) için. Hesaplayarak Bir veri kümesindeki her öğe çifti arasındaki ilişkiler, kendi kendine dikkat, küresel bir bağlam anlayışı sağlar. gibi eski yöntemlerle elde etmek zordur. Tekrarlayan Sinir Ağları (RNN'ler).

Öz-Dikkat Nasıl Çalışır

Kavramsal olarak, öz-dikkat, insanların belirli ayrıntılara odaklanıp bunları göz ardı ederek bilgiyi nasıl işlediğini taklit eder. alakasız gürültü. Bir cümleyi veya görüntüyü işlerken, model her bir cümleye "dikkat puanları" atar. unsuru. Bu puanlar, belirli bir öğeyi kodlarken girdinin diğer kısımlarına ne kadar odaklanılması gerektiğini belirler. kelime veya piksel.

İşlem tipik olarak her girdi öğesi için üç vektör oluşturmayı içerir: bir Sorgu, bir Anahtar ve bir Değer.

• Sorgu: İlgili bilgileri isteyen mevcut öğeyi temsil eder.
• Anahtar: Dizideki diğer öğeler için bir tanımlayıcı görevi görür.
• Değer: Gerçek bilgi içeriğini içerir.

Model, uyumluluğu hesaplamak için bir öğenin Sorgusunu diğerlerinin Anahtarlarıyla karşılaştırır. Bunlar kullanılarak uyumluluk puanları normalleştirilir. ağırlıkları oluşturmak için softmax fonksiyonu. Son olarak, bu ağırlıklar yeni, bağlama duyarlı bir temsil üretmek için Değerlere uygulanır. Bu verimli paralel işlem, aşağıdakilere olanak tanır kitlesel eğitim için Büyük Dil Modelleri (LLM'ler) ve güçlü modern GPU'ları kullanarak görme modelleri. için daha derin görsel dalış, gibi kaynaklar Jay Alammar'ın Resimli Transformatör teklifi mükemmel bir sezgi.

Öz Dikkat ve Genel Dikkat

Bu terimler sıklıkla yakın anlamda kullanılsa da, öz-dikkati daha geniş anlamdaki öz-dikkatten ayırmak faydalı olacaktır. dikkat mekanizması.

• Öz Dikkat: Sorgu, Anahtar ve Değerin tümü aynı girdi dizisinden gelir. Hedef bir cümledeki kelimelerin birbirleriyle nasıl ilişkili olduğu gibi iç ilişkileri öğrenmektir (örn. "o" bir paragrafta atıfta bulunur).
• Çapraz Dikkat: Genellikle kullanılan sekanstan sekansa modeller Sorgu bir diziden (kod çözücü gibi) gelirken Anahtar ve Değer başka bir diziden (kodlayıcı gibi) gelir. Bu Makine çevirisinde yaygın olarak hedef dil çıktısı kaynak dil girdisine katılır.

Gerçek Dünya Uygulamaları

Uzun menzilli bağımlılıkları yakalama yeteneği, öz dikkati modern toplumlarda her yerde bulunur hale getirmiştir. Yapay Zeka (AI).

1. Bağlamsal Metin Analizi: NLP'de öz dikkat belirsizliği çözer. Kelimeyi düşünün "banka". "Kıyı kenarında balık tuttu" cümlesinde, model öz-dikkati kullanarak "banka" kelimesini "balıkçılık" ve "nehir" kelimeleriyle birleştirerek bir finans kurumundan ayırmıştır. Bu Google Translate gibi araçları ve sohbet robotlarını güçlendirir. Üretken Yapay Zeka.
2. Küresel Görüntü Anlama: Bilgisayarla görmede, aşağıdaki gibi modeller Vision Transformer (ViT) görüntüleri böler ve bir sahnenin uzak kısımlarını ilişkilendirmek için kendi dikkatini kullanır. Bu, aşağıdakiler için çok önemlidir Dağınık ortamlarda nesne algılama. Bu Ultralytics RT-DETR (Gerçek Zamanlı Algılama Transformatörü) etkin bir şekilde kullanarak yüksek doğruluk elde etmek için bundan yararlanır küresel bağlamı yönetmek, standartların aksine Evrişimsel Sinir Ağları (CNN'ler) yerel özelliklere odaklanır.

Kod Örneği

Aşağıdaki Python parçacığı, kendi kendine dikkat etmeye dayanan Transformer tabanlı bir modelin nasıl yükleneceğini ve kullanılacağını göstermektedir kullanarak çıkarım yapmak için ultralytics Paket.

from ultralytics import RTDETR

# Load the RT-DETR model, which uses self-attention for object detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the resulting bounding boxes and class probabilities
results[0].show()

Modern Mimarilerdeki Önemi

Öz dikkat, ufuk açıcı makalede tanıtıldı Google araştırmacıları tarafından hazırlanan "Attention Is All You Need". Bu kaybolan gradyan problemini ele aldı. daha önceki derin öğrenme mimarilerini rahatsız etti ve GPT-4 gibi temel modeller.

Dikkat temelli modeller güçlü olmakla birlikte, hesaplama açısından pahalı olabilirler. Birçok gerçek zamanlı uygulama için, gibi verimli CNN tabanlı modeller YOLO11 kalır hızları ve düşük bellek ayak izleri nedeniyle önerilen seçimdir. Ancak, hibrit yaklaşımlar ve optimize edilmiş Transformatörler sınırlarını zorlamaya devam ediyor. makine öğrenimi. İleriye dönük, yaklaşan YOLO26 gibi mimariler her ikisinin de en iyisini entegre etmeyi amaçlamaktadır Ultralytics Platformunda uçtan uca yetenekler sunan dünyalar. Gibi çerçeveler PyTorch ve TensorFlow geliştiriciler için yapı taşları sağlamak bu gelişmiş öz dikkat katmanlarını deneyin.