Longformer

Longformer, geleneksel modellerin sınırlamalarını aşarak uzun veri dizilerini verimli bir şekilde işlemek üzere tasarlanmış, özelleşmiş bir Derin Öğrenme mimarisi türüdür. Başlangıçta, bellek kısıtlamaları nedeniyle genellikle 512 belirteçten uzun dizilerde zorlanan standart Transformer'ların sınırlamalarını gidermek amacıyla tanıtılan Longformer, değiştirilmiş bir dikkat mekanizması kullanır. Bu mimari, hesaplama karmaşıklığını kareselden doğrusala düşürerek yapay zekâ sistemlerinin girdiyi kısaltmadan tüm belgeleri, uzun dökümleri veya karmaşık genetik dizileri tek geçişte analiz etmesini sağlar.

Dikkat Darboğazı Problemi#

Longformer'ın önemini anlamak için BERT ve ilk GPT-3 modelleri gibi önceki modellerin sınırlamalarına bakmak gerekir. Standart Transformer'lar, dizideki her belirtecin (kelime veya kelimenin bir parçası) diğer tüm belirteçlere odaklandığı bir "öz-dikkat" işlemi kullanır. Bu, karesel bir hesaplama maliyeti oluşturur; dizi uzunluğunun iki katına çıkarılması, GPU üzerinde gereken belleği dört katına çıkarır. Sonuç olarak çoğu standart model, girdi boyutuna katı bir sınır koyar ve veri bilimcilerini belgeleri genellikle daha küçük, birbirinden kopuk parçalara bölmeye zorlar; bu da bağlam kaybına yol açar.

Longformer bunu Seyrek Dikkat özelliğini sunarak çözer. Tam bir tümden-tüme bağlantı yerine, pencereli yerel dikkat ile global dikkatin bir bileşimini kullanır:

• Kayan Pencere Dikkati: Her belirteç yalnızca en yakın komşularına dikkat eder. Bu, bir Evrişimli Sinir Ağının (CNN) görüntüleri işleme biçimine benzer şekilde yerel bağlamı ve sözdizimsel yapıyı yakalar.
• Aralıklı Kayan Pencere: Alıcı alanı hesaplama maliyetini artırmadan genişletmek için pencereye boşluklar eklenebilir; bu da modelin metinde "daha uzaktaki" kısımları görmesini sağlar.
• Global Dikkat: Sınıflandırma belirteci [CLS] gibi önceden seçilmiş belirli belirteçler dizideki diğer tüm belirteçlere dikkat eder ve tüm belirteçler de bu belirteçlere dikkat eder. Bu, modelin metin özetleme gibi görevler için girdinin tamamına ilişkin üst düzey anlayışını korumasını sağlar.

Gerçek Dünya Uygulamaları#

Binlerce belirteci aynı anda işleyebilme yeteneği, Doğal Dil İşleme (NLP) ve ötesi için yeni olanaklar sunar.

1. Hukuki ve Tıbbi Belge Analizi#

Hukuk ve sağlık hizmetleri gibi sektörlerde belgeler nadiren kısadır. Bir hukuki sözleşme veya hastanın tıbbi geçmişi onlarca sayfayı bulabilir. Geleneksel Büyük Dil Modelleri (LLM'ler), bu belgelerin parçalara ayrılmasını gerektirir; bu da 1. sayfadaki bir madde ile 30. sayfadaki bir tanım arasındaki kritik bağlantıların gözden kaçmasına neden olabilir. Longformer, Adlandırılmış Varlık Tanıma (NER) ve sınıflandırma işlemlerinin tüm belge üzerinde tek seferde gerçekleştirilmesini sağlar; böylece global bağlam, belirli terimlerin yorumlanmasını etkiler.

2. Uzun Biçimli Soru Yanıtlama (QA)#

Standart Soru Yanıtlama sistemleri, bir sorunun yanıtının uzun bir makaleye dağılmış bilgilerin bir araya getirilmesini gerektirdiği durumlarda genellikle zorlanır. Metnin tamamını bellekte tutan Longformer tabanlı modeller, farklı paragraflarda bulunan gerçekleri birbirine bağlayarak kapsamlı bir yanıt oluşturmak için çok adımlı akıl yürütme gerçekleştirebilir. Bu, otomatik teknik destek sistemleri ve akademik araştırma araçları için kritik öneme sahiptir.

Temel Terimleri Ayırt Etme#

• Longformer ve Transformer karşılaştırması: Standart Transformer, tam $N^2$ dikkati kullanır; bu da onu kesin kılar ancak uzun girdiler için hesaplama açısından pahalıdır. Longformer, seyrek $N$ dikkati kullanarak teorik kapasitenin ihmal edilebilir bir kısmını büyük verimlilik kazanımları karşılığında takas eder ve 4.096 veya daha fazla belirteçlik girdilere olanak tanır.
• Longformer ve Transformer-XL karşılaştırması: Her ikisi de uzun dizileri işler; ancak Transformer-XL geçmiş segmentleri hatırlamak için bir yineleme mekanizmasına (önceki durumları önbelleğe alma) dayanır. Longformer, uzun diziyi yerel olarak tek seferde işler; bu da Ultralytics Platformu gibi platformlarda paralel eğitimi basitleştirir.
• Longformer ve BigBird karşılaştırması: Bunlar yaklaşık aynı dönemde geliştirilen ve birbirine çok benzeyen mimarilerdir. Her ikisi de doğrusal ölçeklendirme elde etmek için seyrek dikkat mekanizmaları kullanır. BigBird, kayan pencerelere ek olarak özel bir rastgele dikkat bileşeni sunar.

Uygulama Kavramları#

Longformer belirli bir işlevden ziyade bir mimari olsa da uzun bağlamlı modeller için verilerin nasıl hazırlanacağını anlamak kritik öneme sahiptir. PyTorch gibi modern çerçevelerde bu işlem genellikle standart sınırları aşan gömme temsillerinin yönetilmesini içerir.

Aşağıdaki örnek, YOLO26 gibi standart algılama modellerinde kullanılan tipik boyutla karşılaştırarak uzun bağlam senaryosu için sahte bir girdi tensörünün oluşturulmasını gösterir.

import torch

# Standard BERT-like models typically cap at 512 tokens
standard_input = torch.randint(0, 30000, (1, 512))

# Longformer architectures can handle significantly larger inputs (e.g., 4096)
# This allows the model to "see" the entire sequence at once.
long_context_input = torch.randint(0, 30000, (1, 4096))

print(f"Standard Input Shape: {standard_input.shape}")
print(f"Long Context Input Shape: {long_context_input.shape}")

# In computer vision, a similar concept applies when processing high-res images
# without downsampling, preserving fine-grained details.

Bilgisayarlı Görü ile İlişkisi#

Başlangıçta metin için tasarlanmış olsa da Longformer'ın ardındaki ilkeler Bilgisayarlı Görüyü etkilemiştir. Dikkati yerel bir komşulukla sınırlama kavramı, görsel görevlerdeki yerelleştirilmiş işlemlere benzer. Vision Transformer'lar (ViT), piksel (veya yama) sayısının çok büyük olabilmesi nedeniyle yüksek çözünürlüklü görüntülerde benzer ölçeklendirme sorunlarıyla karşılaşır. Longformer'ın seyrek dikkatinden türetilen teknikler, görüntü sınıflandırmasının ve nesne algılamanın verimliliğini artırmak için kullanılır; bu da YOLO26 gibi modellerin ayrıntılı görsel verileri işlerken yüksek hızlarını korumasına yardımcı olur.

Mimari ayrıntılar hakkında daha fazla bilgi için AllenAI tarafından yayımlanan orijinal Longformer makalesi, kapsamlı kıyaslamalar ve teorik gerekçeler sunar. Ayrıca bu tür büyük modellerin verimli eğitimi, genellikle karma hassasiyet ve gelişmiş optimizasyon algoritmaları gibi tekniklerden yararlanır.