Uzun Kısa Süreli Bellek (LSTM)

LSTM'ler Nasıl Çalışır?

Geleneksel RNN'ler, bir dizideki erken adımlardan gelen bilgilerin ağ boyunca yayıldıkça kaybolduğu ve uzun aralıklarla bağımlılıkları öğrenmeyi zorlaştırdığı kaybolan gradyan problemiyle mücadele eder. LSTM'ler bu sorunu bellek hücreleri ve kapıları içeren benzersiz bir yapı kullanarak çözer.

Çekirdek bileşen, bir taşıma bandı gibi hareket eden ve bilginin ağ boyunca nispeten değişmeden akmasını sağlayan bellek hücresidir. LSTM'ler bellek hücresinde depolanan bilgileri düzenlemek için üç ana "kapı" kullanır:

1. Unut Kapısı: Hücre durumundan hangi bilgilerin atılacağına karar verir.
2. Giriş Kapısı: Hücre durumunda hangi yeni bilginin saklanacağına karar verir.
3. Çıkış Kapısı: Hücre durumunun hangi kısmının çıktısının alınacağına karar verir.

Sigmoid ve tanh gibi aktivasyon fonksiyonları kullanılarak uygulanan bu kapılar, her zaman adımında hangi bilgilerin saklanması veya atılmasının önemli olduğunu öğrenerek ağın uzun diziler boyunca ilgili bağlamı korumasını sağlar.

Gerçek Dünya Uygulamaları

LSTM'ler, dizi modelleme gerektiren çok sayıda alanda başarıyla uygulanmıştır:

• Doğal Dil İşleme (NLP): LSTM'ler makine çevirisi (örneğin, anlamı koruyarak uzun cümleleri çevirme), duygu analizi (metinde ifade edilen görüşleri anlama) ve dil modelleme gibi görevlerde mükemmeldir. Örneğin, bir LSTM genel duyguyu anlamak için bir paragraf metni işleyebilir ve sondaki anlamı etkileyen başlangıçtaki anahtar ifadeleri hatırlayabilir.
• Konuşma Tanıma: Ses sinyallerindeki zamansal bağımlılıkları modelleyerek konuşma dilini metne dönüştürmek için kullanılırlar. LSTM tabanlı bir sistem, seslerin zaman içindeki sırasını dikkate alarak kelimeleri ve cümleleri tanıyabilir ve uzun menzilli bağlamı yakalamayan modellere kıyasla doğruluğu artırabilir. Google'ın konuşma tanıma sistemleri geçmişte LSTM'leri kullanmıştır.
• Zaman Serisi Analizi: LSTM'ler, hisse senedi fiyatları, hava durumu modelleri veya enerji tüketimi gibi geçmiş verilere dayanarak gelecekteki değerleri tahmin etmek için uygulanır. Uzun vadeli eğilimleri hatırlama yetenekleri, onları karmaşık tahmin modellemesi için uygun hale getirir.
• Video Analizi: LSTM'ler, zaman içinde meydana gelen eylemleri veya olayları anlamak için video kareleri dizilerini işleyebilir ve etkinlik tanıma gibi uygulamalara katkıda bulunabilir.

LSTM'ler ve İlgili Mimariler

Güçlü olmakla birlikte, LSTM'ler daha geniş bir dizi modelleri ailesinin bir parçasıdır:

• RNN'ler: LSTM'ler, basit RNN'lerin kısa süreli bellek sorunlarından kaçınmak için özel olarak tasarlanmış bir RNN türüdür.
• Geçitli Tekrarlayan Birimler (GRU'lar): GRU'lar daha basit bir mimariye (daha az kapı) sahip LSTM'lerin bir varyasyonudur. Hesaplama açısından daha az yoğun olmalarına rağmen belirli görevlerde genellikle LSTM'lerle karşılaştırılabilir performans gösterirler.
• Transformers: Daha sonra tanıtılan Dönüştürücüler, yineleme yerine dikkat mekanizmalarına dayanır. Özellikle GPT-4 gibi Büyük Dil Modellerinde (LLM 'ler) olmak üzere birçok NLP görevi için son teknoloji performans açısından LSTM'leri büyük ölçüde geride bırakmışlardır. Longformer gibi mimariler çok uzun diziler için Transformer yeteneklerini daha da genişletmektedir.

Uygulama ve Araçlar

LSTM'ler, aşağıdaki gibi popüler derin öğrenme çerçeveleri kullanılarak kolayca uygulanabilir PyTorch ( PyTorch LSTM belgelerine bakınız) ve TensorFlow ( TensorFlow LSTM belgelerine bakın). Ultralytics öncelikle Bilgisayarla Görme (CV) modellerine odaklanırken Ultralytics YOLONesne algılama ve örnek segmentasyonu gibi görevler için, özellikle araştırmalar video anlama veya resim altyazısı gibi görevler için NLP ve CV arasında köprü kurmayı araştırdıkça, dizi modellerini anlamak değerlidir. Ultralytics belgelerinde çeşitli makine öğrenimi modellerini ve kavramlarını daha fazla keşfedebilirsiniz. Çeşitli modellerin eğitimini ve dağıtımını yönetmek, Ultralytics HUB gibi platformlar kullanılarak kolaylaştırılabilir. Hochreiter ve Schmidhuber 'in temel LSTM makalesi orijinal teknik ayrıntıları sağlar. DeepLearning.AI gibi kaynaklar, LSTM'ler de dahil olmak üzere dizi modellerini kapsayan kurslar sunar.