Uzun Kısa Süreli Bellek (LSTM)

Uzun Kısa Süreli Bellek (LSTM), uzun veri dizileri üzerindeki örüntüleri öğrenmek ve hatırlamak için tasarlanmış özel bir Tekrarlayan Sinir Ağı (RNN ) mimarisi türüdür. Kaybolan gradyan sorunu nedeniyle uzun vadeli bağımlılıklarla mücadele eden standart RNN'lerin aksine, LSTM'ler bilgi akışını düzenlemek için benzersiz bir geçit mekanizması kullanır. Bu, ağın alakasız verileri atarken önemli bilgileri uzun süreler boyunca seçici olarak tutmasına olanak tanır ve bu da onu özellikle Doğal Dil İşleme (NLP) alanında modern derin öğrenmenin temel taşı haline getirir. Hochreiter ve Schmidhuber'in temel LSTM makalesi bu güçlü teknolojinin temellerini atmıştır.

LSTM'ler Nasıl Çalışır

Bir LSTM'nin yeteneğinin anahtarı, bir "hücre durumu" ve birkaç "kapı" içeren iç yapısıdır. Hücre durumu, dizi boyunca ilgili bilgileri taşıyan bir taşıyıcı bant görevi görür. Giriş, unutma ve çıkış kapıları, hücre durumuna hangi bilgilerin eklendiğini, çıkarıldığını veya okunduğunu kontrol eden sinir ağlarıdır.

• Unutma Kapısı (Forget Gate): Önceki hücre durumundan hangi bilgilerin atılması gerektiğine karar verir.
• Giriş Kapısı: Mevcut girdiden hangi yeni bilgilerin hücre durumunda saklanması gerektiğini belirler.
• Çıktı Kapısı: Hücre durumundan hangi bilgilerin mevcut zaman adımı için çıktıyı oluşturmak için kullanıldığını kontrol eder.

Bu geçiş yapısı, LSTM'lerin metin veya zaman serileri gibi sıralı verileri anlamak için kritik bir özellik olan birçok zaman adımı boyunca bağlamı korumasını sağlar. Ayrıntılı bir görselleştirmeye bu popüler LSTM'leri Anlama blog gönderisinden ulaşılabilir.

Gerçek Dünya Uygulamaları

LSTM'ler, sıralı verileri içeren çok sayıda alanda başarıyla uygulanmıştır.

1. Makine Çevirisi: LSTM'ler bir dildeki bir cümleyi kelime kelime işleyebilir, dahili bir temsil (anlama) oluşturabilir ve ardından başka bir dilde bir çeviri oluşturabilir. Bu, tutarlı bir çeviri üretmek için cümlenin başından itibaren bağlamın hatırlanmasını gerektirir. Google Translate, Transformer mimarilerine geçmeden önce bu amaç için LSTM tabanlı modeller kullanmıştır.
2. Konuşma Tanıma: Konuşmadan metne uygulamalarında, LSTM'ler konuşulan kelimeleri yazıya dökmek için ses özellikleri dizilerini işleyebilir. Modelin mevcut sesi doğru bir şekilde yorumlamak için önceki sesleri dikkate alması gerekir ve bu da zamansal bağımlılıkları ele alma yeteneğini gösterir. Birçok modern sanal asistan bu teknolojiye dayanmaktadır.

Diğer Dizi Modelleriyle Karşılaştırma

LSTM'ler, sıralı veriler için daha geniş bir model ailesinin parçasıdır.

• Geçitli Tekrarlayan Birim (GRU): GRU, LSTM'nin basitleştirilmiş bir versiyonudur. Unutma ve giriş kapılarını tek bir "güncelleme kapısı" olarak birleştirir ve hücre durumu ile gizli durumu birleştirir. Bu, GRU'ları hesaplama açısından daha verimli ve eğitilmesi daha hızlı hale getirir, ancak bazı görevlerde LSTM'lerden biraz daha az etkileyici olabilirler.
• Gizli Markov Modelleri (HMM'ler): HMM'ler, LSTM'lerden daha az karmaşık olan olasılıksal modellerdir. Daha basit dizi görevleri için yararlı olsalar da, LSTM'lerin ve diğer sinir ağlarının yapabileceği karmaşık, uzun menzilli bağımlılıkları yakalayamazlar.
• Transformer: Bir self-attention mekanizmasına dayanan Transformer mimarisi, birçok NLP görevi için büyük ölçüde LSTM'lerin yerini alarak en son teknoloji haline gelmiştir. LSTM'lerin sıralı işlemesinin aksine, Transformer'lar bir dizinin tüm öğelerini paralel olarak işleyebilir, bu da onları GPU'lar gibi modern donanımlarda oldukça verimli hale getirir ve küresel bağımlılıkları daha iyi yakalar.

Uygulama ve Araçlar

LSTM'ler, PyTorch (bkz. PyTorch LSTM dökümantasyonu) ve TensorFlow (bkz. TensorFlow LSTM dökümantasyonu) gibi popüler derin öğrenme çerçeveleri kullanılarak kolayca uygulanabilir. Ultralytics öncelikle nesne tespiti ve örnek segmentasyonu gibi görevler için Ultralytics YOLO gibi Bilgisayarlı Görü (CV) modellerine odaklanırken, özellikle araştırmalar video anlama veya görüntü altyazılama gibi görevler için NLP ve CV'yi birleştirmeyi keşfederken, dizi modellerini anlamak değerlidir. Ultralytics dökümantasyonunda çeşitli ML modellerini ve kavramlarını daha ayrıntılı olarak inceleyebilirsiniz. Çeşitli modellerin eğitimi ve dağıtımı, Ultralytics HUB gibi platformlar kullanılarak kolaylaştırılabilir. DeepLearning.AI gibi kaynaklar, LSTM'ler de dahil olmak üzere dizi modellerini kapsayan kurslar sunmaktadır.