Uzun Kısa Süreli Bellek (LSTM)

Uzun Kısa Süreli Bellek (LSTM), uzun veri dizileri üzerindeki örüntüleri öğrenmek ve hatırlamak için tasarlanmış özel bir Tekrarlayan Sinir Ağı (RNN ) mimarisi türüdür. Kaybolan gradyan sorunu nedeniyle uzun vadeli bağımlılıklarla mücadele eden standart RNN'lerin aksine, LSTM'ler bilgi akışını düzenlemek için benzersiz bir geçit mekanizması kullanır. Bu, ağın alakasız verileri atarken önemli bilgileri uzun süreler boyunca seçici olarak tutmasına olanak tanır ve bu da onu özellikle Doğal Dil İşleme (NLP) alanında modern derin öğrenmenin temel taşı haline getirir. Hochreiter ve Schmidhuber'in temel LSTM makalesi bu güçlü teknolojinin temellerini atmıştır.

LSTM'ler Nasıl Çalışır?

Bir LSTM'nin yeteneğinin anahtarı, bir "hücre durumu" ve birkaç "kapı" içeren iç yapısıdır. Hücre durumu, ilgili bilgileri dizi boyunca taşıyan bir taşıyıcı bant görevi görür. Kapılar -giriş, unutma ve çıkış- hücre durumuna hangi bilgilerin ekleneceğini, çıkarılacağını ya da hücre durumundan okunacağını kontrol eden sinir ağlarıdır.

• Unut Kapısı: Önceki hücre durumundan hangi bilgilerin atılması gerektiğine karar verir.
• Giriş Kapısı: Mevcut girişten gelen hangi yeni bilginin hücre durumunda saklanması gerektiğini belirler.
• Çıkış Kapısı: Geçerli zaman adımının çıktısını oluşturmak için hücre durumundan hangi bilgilerin kullanılacağını kontrol eder.

Bu geçit yapısı, LSTM'lerin metin veya zaman serileri gibi sıralı verileri anlamak için kritik bir özellik olan birçok zaman adımında bağlamı korumasını sağlar. Ayrıntılı bir görselleştirme bu popüler Understanding LSTMs blog yazısında bulunabilir.

Gerçek Dünya Uygulamaları

LSTM'ler, sıralı veriler içeren çok sayıda alanda başarıyla uygulanmıştır.

1. Makine Çevirisi: LSTM'ler bir dildeki bir cümleyi kelime kelime işleyebilir, dahili bir temsil (anlama) oluşturabilir ve ardından başka bir dilde bir çeviri oluşturabilir. Bu, tutarlı bir çeviri üretmek için cümlenin başından itibaren bağlamın hatırlanmasını gerektirir. Google Translate, Transformer mimarilerine geçmeden önce bu amaç için LSTM tabanlı modeller kullanmıştır.
2. Konuşma Tanıma: Konuşmadan metne uygulamalarında, LSTM'ler konuşulan kelimeleri yazıya dökmek için ses özellikleri dizilerini işleyebilir. Modelin mevcut sesi doğru bir şekilde yorumlamak için önceki sesleri dikkate alması gerekir ve bu da zamansal bağımlılıkları ele alma yeteneğini gösterir. Birçok modern sanal asistan bu teknolojiye dayanmaktadır.

Diğer Dizi Modelleri ile Karşılaştırma

LSTM'ler, sıralı veriler için daha geniş bir model ailesinin parçasıdır.

• Geçitli Tekrarlayan Birim (GRU): GRU, LSTM'nin basitleştirilmiş bir versiyonudur. Unutma ve giriş kapılarını tek bir "güncelleme kapısı" olarak birleştirir ve hücre durumu ile gizli durumu birleştirir. Bu, GRU'ları hesaplama açısından daha verimli ve eğitilmesi daha hızlı hale getirir, ancak bazı görevlerde LSTM'lerden biraz daha az etkileyici olabilirler.
• Gizli Markov Modelleri (HMM'ler): HMM'ler, LSTM'lerden daha az karmaşık olan olasılıksal modellerdir. Daha basit dizi görevleri için yararlı olsalar da, LSTM'lerin ve diğer sinir ağlarının yapabileceği karmaşık, uzun menzilli bağımlılıkları yakalayamazlar.
• Transformatör: Kendi kendine dikkat mekanizmasına dayanan Transformer mimarisi, birçok NLP görevi için en son teknoloji olarak LSTM'leri büyük ölçüde geride bırakmıştır. LSTM'lerin sıralı işlemesinin aksine, Transformatörler bir dizinin tüm öğelerini paralel olarak işleyebilir, bu da onları GPU'lar gibi modern donanımlarda oldukça verimli hale getirir ve küresel bağımlılıkları yakalamada daha iyidir.

Uygulama ve Araçlar

LSTM'ler PyTorch ( PyTorch LSTM belgelerine bakınız) ve TensorFlow ( TensorFlow LSTM belgelerine bakınız) gibi popüler derin öğrenme çerçeveleri kullanılarak kolayca uygulanabilir. Ultralytics öncelikle nesne algılama ve örnek segmentasyonu gibi görevler için Ultralytics YOLO gibi Bilgisayarla Görme (CV) modellerine odaklanırken, özellikle araştırmalar video anlama veya resim altyazısı gibi görevler için NLP ve CV arasında köprü kurmayı araştırdığı için dizi modellerini anlamak değerlidir. Ultralytics belgelerinde çeşitli makine öğrenimi modellerini ve kavramlarını daha fazla keşfedebilirsiniz. Çeşitli modellerin eğitimini ve dağıtımını yönetmek, Ultralytics HUB gibi platformlar kullanılarak kolaylaştırılabilir. DeepLearning.AI gibi kaynaklar, LSTM'ler de dahil olmak üzere dizi modellerini kapsayan kurslar sunar.