Flash Attention

Flash Attention, bellek erişimini daha verimli bir şekilde yöneterek Transformer modellerinin eğitimini ve çıkarımını hızlandırmak için tasarlanmış, yüksek düzeyde optimize edilmiş bir algoritmadır. Modern derin öğrenmede (DL), özellikle büyük modeller söz konusu olduğunda, temel darboğaz genellikle işlemcinin hesaplama hızı değil, verilerin bellek depolama birimleri ile hesaplama birimleri arasında taşınması için geçen süredir. Flash Attention, dikkat mekanizmalarının verileri işleme biçimini yeniden düzenleyerek bu "bellek duvarı" sorununu aşar ve doğruluktan ödün vermeden daha hızlı performans ve daha düşük bellek kullanımı sağlar.

Link to this sectionFlash Attention Nasıl Çalışır#

Flash Attention'ı anlamak için bir GPU'nun (Grafik İşlem Birimi) mimarisine bakmak faydalıdır. Bir GPU, yüksek kapasiteli ancak daha yavaş olan Yüksek Bant Genişlikli Belleğe (HBM) ve düşük kapasiteli ancak inanılmaz derecede hızlı olan çip üstü SRAM'e sahiptir. Standart dikkat uygulamaları, büyük matrisleri yavaş olan HBM'ye sürekli olarak okuyup yazar, bu da bir yığılmaya neden olur.

Flash Attention, büyük dikkat matrisini tamamen hızlı SRAM'e sığacak daha küçük bloklara bölmek için "tiling" (döşeme) adı verilen bir teknik kullanır. Bu blokları hızlı bellekte tutarak ve sonucu tekrar yazmadan önce orada daha fazla hesaplama yaparak, algoritma HBM'ye yapılan okuma/yazma işlemlerinin sayısını önemli ölçüde azaltır. Stanford Üniversitesi'ndeki araştırmacılar tarafından tanıtılan bu yenilik, süreci "IO-farkındalı" hale getirir; yani veri taşıma maliyetini açıkça hesaba katar. Teknik detayları orijinal araştırma makalesinde inceleyebilirsin.

Link to this sectionİlgili Terimlerden Ayrımı#

Flash Attention'ı yapay zeka (AI) sözlüğündeki benzer kavramlardan ayırmak önemlidir:

• Standart Dikkat: Tam dikkat matrisini hesaplayan geleneksel uygulama. Çıktı açısından Flash Attention ile matematiksel olarak aynıdır ancak bellek IO'sunu optimize etmediği için genellikle daha yavaş ve bellek yoğundur.
• Flash Attention: Standart dikkatin tam bir optimizasyonudur. Yaklaşık bir sonuç vermez; tamamen aynı sayısal sonuçları sağlar, sadece çok daha hızlıdır.
• Seyrek Dikkat: İşlem gücünden tasarruf etmek için belirli bağlantıları göz ardı eden bir yaklaşımdır. Flash Attention'ın aksine, seyrek dikkat yöntemleri hız uğruna bir miktar kesinlikten ödün verir.

Link to this sectionBilgisayarlı Görü ve YOLO'daki Önemi#

Başlangıçta uzun metin dizilerini işlemek için Doğal Dil İşleme (NLP) alanında geliştirilmiş olsa da, Flash Attention bilgisayarlı görüde (CV) kritik bir hale gelmiştir. Yüksek çözünürlüklü görüntüler, Vision Transformer (ViT) modelleri tarafından işlendiğinde devasa veri dizileri oluşturur.

Bu teknoloji nesne dedektörlerinin gelişimini etkilemektedir. Örneğin, topluluk odaklı YOLO12 gibi bazı deneysel modeller bu ilkelerden yararlanan dikkat katmanları sunmuştur. Ancak, tamamen dikkat tabanlı mimariler eğitim istikrarsızlığı ve yavaş CPU hızlarından muzdarip olabilir. Çoğu profesyonel uygulama için Ultralytics YOLO26 önerilen standarttır. YOLO26, uç cihazlarda ağır dikkat katmanlarıyla genellikle ilişkilendirilen ek yüklerden kaçınarak, uçtan uca nesne algılama ve görüntü segmentasyonu için hızı ve doğruluğu dengeleyen, yüksek düzeyde optimize edilmiş bir mimari kullanır.

Link to this sectionGerçek Dünya Uygulamaları#

Flash Attention'dan elde edilen verimlilik kazanımları, daha önce çalıştırılması çok maliyetli veya yavaş olan uygulamaları mümkün kılmaktadır.

1. Long-Context Generative AI: In the world of Large Language Models (LLMs) like GPT-4, Flash Attention allows the model to "remember" vast amounts of information. This enables a massive context window, allowing users to upload entire books or legal codebases for text summarization without the model crashing due to memory limits.

2. Yüksek Çözünürlüklü Tıbbi Tanılar: Tıbbi görüntü analizinde, ayrıntılar önemlidir. Patologlar doku örneklerinin gigapiksel taramalarını analiz eder. Flash Attention, modellerin bu devasa görüntüleri orijinal çözünürlüklerinde işlemesine olanak tanıyarak, görüntüyü ölçeklendirip hayati verileri kaybetmeden erken evre beyin tümörleri gibi küçük anomalileri tanımlamalarını sağlar.

Link to this sectionKod Örneği#

Flash Attention genellikle PyTorch gibi kütüphanelerde dahili bir optimizasyon olsa da, Ultralytics ile dikkat tabanlı modellerden kolayca yararlanabilirsin. Aşağıdaki kod parçası, bir görüntü üzerinde çıkarım yapmak için dikkat mekanizmalarını kullanan bir RT-DETR modelinin nasıl yükleneceğini göstermektedir.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which utilizes transformer attention
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects
results = model("https://ultralytics.com/images/bus.jpg")

# Display the number of detected objects
print(f"Detected {len(results[0].boxes)} objects.")

Ultralytics Platform gibi araçları kullanarak, geliştiriciler karmaşık GPU çekirdeklerini manuel olarak uygulamaya gerek kalmadan bu gelişmiş modelleri eğitebilir ve dağıtabilirler. Platform altyapıyı yönetir, böylece ekipler yüksek kaliteli veri kümelerini iyileştirmeye ve sonuçları yorumlamaya odaklanabilir.