Longformer

Longformer, geleneksel modellerin kısıtlamalarının üstesinden gelerek uzun veri dizilerini verimli bir şekilde işlemek için tasarlanmış özel bir Deep Learning mimarisi türüdür. Bellek kısıtlamaları nedeniyle genellikle 512 tokenden uzun dizilerle çalışmakta zorlanan standart Transformers modellerinin kısıtlamalarını gidermek için orijinal olarak tanıtılan Longformer, değiştirilmiş bir attention mechanism kullanır. Hesaplama karmaşıklığını kareselden doğrusal düzeye indiren bu mimari, yapay zeka sistemlerinin tüm belgeleri, uzun dökümleri veya karmaşık genetik dizileri girdiyi kırpmadan tek bir geçişte analiz etmesini sağlar.

Dikkat Darboğazı Sorunu#

Longformer'ın önemini anlamak için BERT ve ilk GPT-3 modelleri gibi öncellerin kısıtlamalarına bakmak esastır. Standart transformer'lar, dizideki her bir token'ın (kelimenin veya kelime parçasının) dizideki diğer tüm token'lar ile ilişki kurduğu bir "self-attention" işlemi kullanır. Bu durum karesel bir hesaplama maliyeti yaratır; dizi uzunluğunu iki katına çıkarmak GPU üzerinde gereken belleği dört katına çıkarır. Sonuç olarak, çoğu standart model girdi boyutuna katı bir sınır getirerek veri bilimcileri genellikle belgeleri daha küçük, bağlantısız segmentlere ayırmaya zorlar ve bu da bağlam kaybına yol açar.

Longformer, Seyrek Dikkat (Sparse Attention) özelliğini sunarak bu sorunu çözer. Tam bir her-token-her-token'a bağlantısı yerine, pencereli yerel dikkat ve küresel dikkatin bir kombinasyonunu kullanır:

• Sliding Window Attention: Her token yalnızca hemen yakınındaki komşularıyla ilişki kurar. Bu, tıpkı Convolutional Neural Network (CNN) modellerinin görüntüleri işlemesine benzer şekilde yerel bağlamı ve sözdizimsel yapıyı yakalar.
• Dilated Sliding Window: Hesaplamayı artırmadan receptive field alanını genişletmek için pencere boşluklar içerebilir, böylece modelin metin içinde "daha uzağı" görmesi sağlanır.
• Global Attention: Önceden seçilmiş belirli token'lar ([CLS] sınıflandırma token'ı gibi) dizideki diğer tüm token'lar ile ilişki kurar ve tüm token'lar onlarla ilişki kurar. Bu, text summarization gibi görevler için modelin tüm girdinin üst düzey bir anlayışını korumasını sağlar.

Gerçek Dünya Uygulamaları#

Binlerce token'ı aynı anda işleme yeteneği, Natural Language Processing (NLP) ve ötesi için yeni olasılıkların kapısını aralar.

Hukuki ve Tıbbi Belge Analizi#

Hukuk ve sağlık gibi sektörlerde belgeler nadiren kısadır. Yasal bir sözleşme veya hastanın tıbbi geçmişi onlarca sayfaya yayılabilir. Geleneksel Large Language Models (LLMs) bu belgelerin parçalanmasını gerektirir ve bu durum sayfa 1'deki bir madde ile sayfa 30'daki bir tanım arasındaki kritik bağımlılıkların gözden kaçmasına potansiyel olarak yol açabilir. Longformer, küresel bağlamın belirli terimlerin yorumlanmasını etkilemesini sağlayarak tüm belge üzerinde aynı anda Named Entity Recognition (NER) ve sınıflandırma yapılmasına olanak tanır.

Uzun Metinli Soru-Cevap (QA)#

Standart Question Answering sistemleri, bir sorunun yanıtı uzun bir makaleye dağılmış bilgilerin sentezlenmesini gerektirdiğinde genellikle zorlanır. Tam metni bellekte tutarak Longformer tabanlı modeller, kapsamlı bir yanıt üretmek için farklı paragraflarda bulunan gerçekleri birbirine bağlayarak çok adımlı akıl yürütme gerçekleştirebilir. Bu durum, otomatik teknik destek sistemleri ve akademik araştırma araçları için çok önemlidir.

Temel Terimleri Ayırt Etme#

• Longformer ve Transformer: Standart Transformer, tam $N^2$ attention kullanarak uzun girdiler için onu hassas ancak hesaplama açısından masraflı hale getirir. Longformer ise seyrek $N$ attention kullanarak ihmal edilebilir düzeyde teorik kapasiteyi devasa verimlilik kazançlarıyla takas eder ve 4.096 veya daha fazla token'lık girdilere izin verir.
• Longformer ve Transformer-XL: Her ikisi de uzun dizileri ele alırken, Transformer-XL geçmiş segmentleri hatırlamak için bir yineleme mekanizmasına (önceki durumları önbelleğe alma) güvenir. Longformer ise uzun diziyi doğrudan tek seferde yerel olarak işler, bu da Ultralytics Platform gibi platformlarda paralel eğitimini basitleştirir.
• Longformer ve BigBird: Bunlar aynı dönemde geliştirilmiş çok benzer mimarilerdir. Her ikisi de doğrusal ölçeklendirme elde etmek için seyrek attention mekanizmaları kullanır. BigBird, kayan pencerelere ek olarak belirli bir rastgele attention bileşeni sunar.

Uygulama Kavramları#

Longformer belirli bir işlevden ziyade bir mimari olsa da, uzun bağlamlı modeller için verilerin nasıl hazırlanacağını anlamak çok önemlidir. PyTorch gibi modern çerçevelerde bu durum genellikle standart sınırları aşan embeddings yapılarını yönetmeyi içerir.

Aşağıdaki örnek, YOLO26 gibi standart algılama modellerinde kullanılan tipik boyuta zıt olarak, uzun bağlam senaryosu için sahte bir girdi tensörü oluşturmayı göstermektedir.

import torch

# Standard BERT-like models typically cap at 512 tokens
standard_input = torch.randint(0, 30000, (1, 512))

# Longformer architectures can handle significantly larger inputs (e.g., 4096)
# This allows the model to "see" the entire sequence at once.
long_context_input = torch.randint(0, 30000, (1, 4096))

print(f"Standard Input Shape: {standard_input.shape}")
print(f"Long Context Input Shape: {long_context_input.shape}")

# In computer vision, a similar concept applies when processing high-res images
# without downsampling, preserving fine-grained details.

Bilgisayarlı Görü ile İlişkisi#

Orijinal olarak metin için tasarlanmış olmasına rağmen, Longformer'ın arkasındaki ilkeler Computer Vision alanını da etkilemiştir. Attention mekanizmasını yerel bir komşulukla sınırlandırma kavramı, görsel görevlerdeki yerelleştirilmiş işlemlere benzerdir. Vision Transformers (ViT) modelleri, piksel (veya yama) sayısı çok büyük olabileceğinden yüksek çözünürlüklü görüntülerle benzer ölçeklendirme sorunlarıyla karşılaşır. Longformer'ın seyrek attention mekanizmasından türetilen teknikler, image classification ve object detection verimliliğini artırmak için kullanılır ve YOLO26 gibi modellerin ayrıntılı görsel verileri işlerken yüksek hızları korumasına yardımcı olur.

Mimari özellikler üzerine daha fazla okuma yapmak için AllenAI tarafından sunulan original Longformer paper derinlemesine kıyaslamalar ve teorik gerekçeler sağlar. Ek olarak, bu tür büyük modellerin verimli bir şekilde eğitilmesi genellikle mixed precision ve gelişmiş optimization algorithms gibi tekniklerden faydalanır.