Öz-İlgi (Self-Attention)

Self-attention (öz-dikkat), bir modelin tek bir girdi dizisi içindeki farklı öğelerin önemini tartmasını sağlayan bir mekanizmadır. Girdinin her bölümünü eşit olarak ele almak yerine, modelin belirli bir öğeyi işlerken en alakalı bölümlere seçici olarak odaklanmasına olanak tanır. Bu yetenek, bağlamı, uzun vadeli bağımlılıkları ve veriler içindeki ilişkileri anlamak için çok önemlidir ve birçok modern Yapay Zeka (AI) mimarisinin, özellikle de Transformer'ın temelini oluşturur. Bu mekanizma, "Attention Is All You Need" adlı ufuk açıcı makalede tanıtılmış ve Doğal Dil İşleme (NLP) alanında devrim yaratmıştır.

Öz-Dikkat Nasıl Çalışır

Temelinde, öz-dikkat, girdi dizisindeki her bir öğeye, o anda işlenmekte olan öğeye göre "dikkat puanı" atayarak çalışır. Bu, her girdi öğesi için üç vektör oluşturularak elde edilir: bir Sorgu (Q), bir Anahtar (K) ve bir Değer (V).

1. Sorgu: Bağlamı "arayan" mevcut öğeyi temsil eder.
2. Anahtar (Key): Sorgunun (Query) ilgili bilgileri bulmak için karşılaştırılabileceği dizideki tüm öğeleri temsil eder.
3. Değer: Dikkat skorlarına göre toplanacak olan her bir öğenin gerçek içeriğini temsil eder.

Belirli bir Sorgu için mekanizma, dizideki tüm Anahtarlarla benzerliğini hesaplar. Bu benzerlik skorları daha sonra, her bir öğenin Değerine ne kadar odaklanılması gerektiğini belirleyen ağırlıklara (genellikle bir softmax fonksiyonu kullanılarak) dönüştürülür. Sorgu için nihai çıktı, tüm Değerlerin ağırlıklı toplamıdır ve bu öğenin tüm diziden bağlamla zenginleştirilmiş yeni bir temsilini oluşturur. Bu süreç, Büyük Dil Modellerinin (LLM'ler) nasıl çalıştığının önemli bir parçasıdır. Bu Q-K-V sürecinin mükemmel bir görsel açıklaması Jay Alammar'ın blogu gibi kaynaklarda bulunabilir.

Self-Attention (Öz-Dikkat) ve Dikkat Mekanizması Karşılaştırması

Self-attention (öz-dikkat), belirli bir dikkat mekanizması türüdür. Temel ayrım, Sorgu (Query), Anahtar (Key) ve Değer (Value) vektörlerinin kaynağıdır.

• Self-Attention (Öz-İlgi): Üç vektörün (Q, K, V) tümü aynı girdi dizisinden türetilir. Bu, bir modelin tek bir cümle veya görüntü içindeki iç ilişkileri analiz etmesini sağlar.
• Genel Dikkat (veya Çapraz Dikkat): Sorgu vektörü bir diziden gelirken, Anahtar ve Değer vektörleri başka bir diziden gelebilir. Bu, çevirmen (çevrilmiş metni oluşturan) kodlayıcının kaynak metnin temsiline dikkat ettiği makine çevirisi gibi diziden diziye görevlerde yaygındır.

Yapay Zeka ve Bilgisayar Görüntüsünde Uygulamalar

İlk olarak NLP'de metin özetleme ve çeviri gibi görevler için popüler hale gelmesine rağmen, self-attention bilgisayarlı görüde (CV) de oldukça etkili olduğunu kanıtlamıştır.

• Doğal Dil İşleme: "Robot, İngiliz anahtarını kaldırdı çünkü ağırdı" gibi bir cümlede, self-attention modelin "o" kelimesini "robot" yerine doğru bir şekilde "İngiliz anahtarı" ile ilişkilendirmesini sağlar. Bu anlayış, BERT ve GPT-4 gibi modeller için temeldir.
• Bilgisayarlı Görü: Vision Transformer (ViT) modeli, bir görüntünün yamalarına kendi kendine dikkat mekanizmasını uygular ve görüntü sınıflandırması gibi görevler için görsel sahnenin farklı bölümleri arasındaki ilişkileri öğrenmesini sağlar. Bazı nesne tespiti modelleri ayrıca özellik haritalarını iyileştirmek ve doğruluğu artırmak için dikkat tabanlı modüller içerir. YOLO12 gibi bazı modeller dikkati kullanırken, çoğu kullanım durumu için sağlam ve verimli Ultralytics YOLO11'i öneriyoruz.

Gelecek Yönelimler

Araştırmalar, daha fazla hesaplama verimliliği (örn. FlashAttention gibi yöntemler ve seyrek dikkat varyantları) ve daha geniş uygulanabilirlik hedefleyerek, self-attention mekanizmalarını iyileştirmeye devam ediyor. Yapay zeka modelleri karmaşıklık açısından büyüdükçe, self-attention'ın robotik gibi özel yapay zeka uygulamalarından Yapay Genel Zeka (AGI)'nın peşine düşmeye kadar alanlarda ilerlemeyi yönlendiren bir köşe taşı teknolojisi olmaya devam etmesi bekleniyor. Ultralytics HUB gibi araçlar ve platformlar, genellikle Hugging Face gibi depolarda bulunan ve PyTorch ve TensorFlow gibi çerçevelerle geliştirilen bu gelişmiş teknikleri içeren modellerin eğitimini ve dağıtımını kolaylaştırır.