Derin Pekiştirmeli Öğrenme

Derin Pekiştirmeli Öğrenme (DRL), Makine Öğrenmesinin (ML) bir alt dalıdır ve Pekiştirmeli Öğrenme (RL) prensiplerini Derin Öğrenmenin (DL) gücüyle birleştirir. Bir yapay zeka aracısının karmaşık, yüksek boyutlu ortamlarda deneme yanılma yoluyla en uygun karar alma stratejilerini öğrenmesini sağlar. Derin sinir ağlarını kullanarak, DRL modelleri, manuel özellik mühendisliğine ihtiyaç duymadan bir görüntüden gelen pikseller veya sensör verileri gibi ham duyusal girdileri işleyebilir. Bu, geleneksel RL yöntemleri için daha önce çözülemeyen sorunların üstesinden gelmelerini sağlar.

Derin Takviyeli Öğrenme Nasıl Çalışır

Tipik bir DRL kurulumunda, bir ajan bir dizi zaman adımı boyunca bir ortamla etkileşime girer. Her adımda, ajan ortamın durumunu gözlemler, bir eylemde bulunur ve bir ödül veya ceza alır. Amaç, zaman içinde toplam kümülatif ödülü en üst düzeye çıkaran bir politika (eylemleri seçme stratejisi) öğrenmektir. DRL'nin "derin" kısmı, politikanın kendisini veya durumların veya eylemlerin arzu edilirliğini tahmin eden bir değer fonksiyonunu yaklaşık olarak tahmin etmek için derin bir sinir ağının kullanılmasından gelir. Bu ağ, alınan ödüllere göre model ağırlıklarını ayarlamak için gradyan inişi gibi algoritmalar kullanılarak eğitilir. Bu sürecin tamamı, sıralı karar vermeyi modellemek için matematiksel temel sağlayan bir Markov Karar Süreci (MDP) kullanılarak resmileştirilir.

Diğer Kavramlardan Ayrımlar

DRL'yi ilgili terimlerden ayırmak önemlidir:

• Pekiştirmeli Öğrenme (RL): DRL, RL'nin modern ve gelişmiş bir biçimidir. Geleneksel RL, durumları eylemlere eşlemek için genellikle tablolara veya doğrusal fonksiyonlara dayanırken, büyük durum uzaylarında (örneğin, bir ekrandaki tüm olası piksel kombinasyonları) zorlanır. DRL, derin sinir ağlarını güçlü fonksiyon yaklaşımlayıcıları olarak kullanarak bu sınırlamanın üstesinden gelir.
• Derin Öğrenme (DL): DL, DRL'nin karmaşık girdileri işleme yeteneğini destekleyen teknolojidir. DL en yaygın olarak modellerin etiketlenmiş veri kümelerinden öğrendiği denetimli öğrenme ile ilişkilendirilirken, DRL ödüllerin seyrek geri bildiriminden öğrenir ve bu da onu optimizasyon ve kontrol görevleri için uygun hale getirir.
• Denetimli Öğrenme: Bu öğrenme paradigması, bir modeli tahminler yapmak üzere eğitmek için etiketli bir veri kümesi gerektirir. Buna karşılık, DRL'nin etiketli verilere ihtiyacı yoktur; bunun yerine, bir ödül sinyali tarafından yönlendirilen bir ortamla etkileşim yoluyla kendi verilerini oluşturur. Bu, etiketli verilerin kıt veya kullanılamaz olduğu sorunlar için onu oldukça etkili kılar.

Gerçek Dünya Uygulamaları

DRL, çeşitli karmaşık alanlarda çığır açmıştır:

• Oyun Oynama: En ünlü örneklerden biri, dünyanın en iyi Go oyuncusunu yenen DeepMind'ın AlphaGo'sudur. DRL ajanı, tahtanın görsel durumunu kullanarak stratejik kararlar almak için kendine karşı milyonlarca oyun oynayarak öğrendi. Benzer şekilde, OpenAI Five, karmaşık video oyunu Dota 2'yi insanüstü bir seviyede oynamayı öğrendi.
• Robotik: DRL, robotları nesne manipülasyonu, hareket ve montaj gibi karmaşık görevleri gerçekleştirmek üzere eğitmek için kullanılır. Örneğin, bir robot, kamerasından gelen girdiyi doğrudan işleyerek ve başarılı kavramalar için olumlu ödüller alarak, yabancı nesneleri almayı öğrenebilir; bu, yapay zekanın robotikteki rolü üzerine yapılan tartışmalarda incelenen bir konudur.
• Autonomous Vehicles (Otonom Araçlar): DRL, sürücüsüz arabalarda YZ hakkındaki makalelerde ayrıntılı olarak açıklandığı gibi, dinamik trafik senaryolarında navigasyon, yol planlaması ve karar verme için gelişmiş kontrol politikaları geliştirmeye yardımcı olur.
• Kaynak Yönetimi: DRL, enerji şebekeleri, trafik sinyal kontrolü ve kimyasal reaksiyon optimizasyonu gibi karmaşık sistemleri optimize edebilir. Bir örnek, akıllı şehirlerde trafik akışını yönetmek için DRL kullanmaktır.
• Öneri Sistemleri: DRL, uzun vadeli etkileşimi veya memnuniyeti en üst düzeye çıkarmak için bir kullanıcıya gösterilen öneri sırasını optimize edebilir.
• Sağlık Hizmetleri: DRL, hasta durumlarına göre optimal tedavi politikalarını ve ilaç dozajlarını keşfetmek için araştırılıyor ve sağlık hizmetlerinde yapay zeka alanına katkıda bulunuyor.

Yapay Zeka Ekosistemindeki Önemi

Derin Pekiştirmeli Öğrenme, yapay zeka araştırmalarının ön saflarında yer alarak makine özerkliğinin sınırlarını zorlamaktadır. Ultralytics gibi şirketler öncelikle nesne tespiti ve görüntü segmentasyonu gibi görevler için Ultralytics YOLO gibi son teknoloji görüntü modellerine odaklansa da, bu algılama sistemlerinin çıktıları genellikle DRL aracıları için çok önemli girdilerdir. Örneğin, bir robot, bir DRL politikasının bir sonraki eyleme karar vermeden önce çevresini (durum temsili) algılamak için Ultralytics HUB aracılığıyla dağıtılan bir Ultralytics YOLO modeli kullanabilir. DRL'yi anlamak, gelişmiş algılamanın daha geniş otonom sistemlere nasıl uyum sağladığına dair bir bağlam sağlar. Bu gelişme genellikle PyTorch (PyTorch ana sayfası) ve TensorFlow (TensorFlow ana sayfası) gibi çerçeveler tarafından kolaylaştırılır ve Gymnasium gibi simülasyon ortamlarında test edilir. DeepMind gibi önde gelen araştırma kuruluşları ve Yapay Zeka Geliştirme Derneği (AAAI) gibi akademik kuruluşlar bu heyecan verici alanda ilerlemeyi sürdürmektedir.