Reinforcement Learning

Pekiştirmeli öğrenme (RL), bir aracının bir ortamda eylemleri deneyerek ve ödül ya da ceza alarak bir dizi karar vermeyi öğrendiği bir makine öğrenimi (ML) dalıdır. Amaç, zaman içinde olabildiğince çok ödül toplamaktır. Araca hangi eylemin doğru olduğunu kimse söylemez. Aracı, on hamle sonra taş kazandıran bir satranç hamlesi gibi getirisi birçok adım sonra ortaya çıkanlar da dahil, hangi eylemlerin işe yaradığını kendi keşfeder. Bu nedenle pekiştirmeli öğrenme; oyun oynama, robotları yönlendirme ve büyük dil modellerini (LLM) insanların tercih ettiği veya bir programın doğrulayabildiği yanıtlara yöneltme gibi sıralı kontrol sorunlarında standart yaklaşımdır. Modern alanı tanımlayan ders kitabının yazarları Richard Sutton ve Andrew Barto, pekiştirmeli öğrenmenin temellerine yaptıkları katkılardan dolayı 2024 ACM A.M. Turing Ödülü'nü aldı.

Pekiştirmeli Öğrenme Nasıl Çalışır#

Pekiştirmeli öğrenme problemleri Markov karar süreci (MDP) olarak biçimlendirilir. Aracı her zaman adımında mevcut durumu gözlemler, eylem uzayından bir eylem seçer ve bir sonraki durumla birlikte ödül alır. Amacı, gelecekteki ödüllerin toplamı olan getiriyi en üst düzeye çıkarmaktır. 0 ile 1 arasında bir iskonto katsayısı, uzaktaki ödüllerin anlık ödüllerden daha az ağırlık taşımasını sağlar. Görev aracıya yalnızca ödül yoluyla anlatılır; bu nedenle özensiz bir ödül, aracının tasarımcının amaçladığını yapmadan yüksek puan aldığı ödül manipülasyonuna yol açabilir.

• Aracı: Robot denetleyicisi veya oyun oynayan bir program gibi öğrenen ve karar veren sistem.
• Ortam: Aracının etkileşimde bulunduğu her şey; fizik simülatöründen gerçek bir depo alanına kadar.
• Durum: Aracının eylemlerini belirlerken kullandığı bilgi; eklem açıları, tahta üzerindeki konum veya bir kamera karesinden çıkarılan özellikler gibi.
• Eylem: Aracının kullanabileceği bir seçenek; ayrık (sol veya sağ) ya da sürekli (bir direksiyon açısı) olabilir.
• Ödül: Ortamın her eylemden sonra döndürdüğü sayı; ilerleme için pozitif, hatalar veya zaman kaybı için negatiftir.
• Politika: Aracının her durumda bir eylem seçme kuralıdır ve eğitim sırasında geliştirilen şey budur.
• Değer fonksiyonu: Bir durumdan veya bir durumda belirli bir eylemi gerçekleştirmekten elde edilmesi beklenen getiridir; aracının eylemleri uzun vadeli sonuçlarına göre değerlendirmesini sağlar.

Ajan yalnızca denediği eylemler hakkında bilgi edindiğinden, değeri belirsiz eylemleri denemek olan keşif ile o anda en iyi görünen eylemi seçmek olan sömürü arasında denge kurmalıdır. Yaygın bir kural epsilon-greedy'dir: düşük bir olasılıkla rastgele, aksi durumda açgözlü biçimde hareket et. Bu NumPy örneği, her durum-eylem çiftinin değerini öğrenen klasik bir algoritma olan Q-learning'i kullanarak ajana, altı hücrelik bir koridorda en uçtaki ödüle doğru yürümeyi öğretir:

import numpy as np

rng = np.random.default_rng(0)
# 6 hücrelik koridor: 0. hücreden başla, 5. hücreye ulaşınca +1 ödül al; eylemler 0 = sol, 1 = sağ
n_states, goal = 6, 5
Q = np.zeros((n_states, 2))  # her (durum, eylem) için tahmini getiri
alpha, gamma, epsilon = 0.5, 0.9, 0.2  # öğrenme oranı, iskonto faktörü, keşif oranı

for episode in range(200):
    state = 0
    while state != goal:
        # epsilon olasılığıyla keşfet, aksi durumda bilinen en iyi eylemi kullan
        action = rng.integers(2) if rng.random() < epsilon else Q[state].argmax()
        next_state = max(0, state - 1) if action == 0 else state + 1
        reward = 1.0 if next_state == goal else 0.0
        # Q-learning güncellemesi: ödüle ve sonraki durumun iskonto edilmiş en iyi değerine doğru ilerle
        Q[state, action] += alpha * (reward + gamma * Q[next_state].max() - Q[state, action])
        state = next_state

print("Greedy policy:", ["left" if a == 0 else "right" for a in Q[:goal].argmax(axis=1)])
print("Value of moving right:", Q[:goal, 1].round(2))

Her hücrede right politikasını ve [0.66 0.73 0.81 0.9 1. ] değerlerini yazdırır. Ödül yalnızca son hücrede verildi, ancak güncelleme bunu geriye doğru yaydı ve hedeften uzaklaştıkça her adımın değeri bir sonrakinin 0.9 katı oldu; bu da iskonto faktörünün etkisini gösteriyor.

RL Algoritma Aileleri#

Yukarıdaki gibi tablo tabanlı yöntemler her durum için bir değer saklar; ancak durumlar kamera görüntüleri veya sürekli eklem açıları olduğunda bu yöntem işe yaramaz. Derin pekiştirmeli öğrenme, tabloyu benzer durumlara genelleme yapan bir sinir ağı ile değiştirir ve başlıca algoritma aileleri bu ağın ne öğrendiğine göre farklılaşır:

Modelden bağımsız ajanlar yalnızca gerçek veya simüle edilmiş deneyimlerden öğrenirken, model tabanlı ajanlar ortamın nasıl tepki vereceğini tahmin eden bir dünya modeli öğrenir ve ardından bu modelle, model öngörülü kontrol veya Monte Carlo ağaç araması örneklerinde olduğu gibi plan yapar. Her güncellemede politikanın ne kadar değişebileceğini sınırlayan Proximal Policy Optimization (PPO), robotik ve dil modeli eğitiminde varsayılan politika gradyanı yöntemi hâline geldi; Group Relative Policy Optimization (GRPO) ise öğrenilmiş eleştirmeni devreden çıkararak yöntemi LLM akıl yürütmesine uyarladı. OpenAI'nin Spinning Up kaynağı, bu algoritmaları referans uygulamalarla adım adım anlatır.

Gerçek Dünya Uygulamaları#

• Oyunlar: DeepMind'ın AlphaGo'su derin sinir ağlarını ağaç araması ve pekiştirmeli öğrenmeyle öz oynamada birleştirerek Mart 2016'da Go şampiyonu Lee Sedol'u 4'e 1 yendi.
• Robotik: Dört ayaklı ve insansı robotların yürüme kontrolcüleri, çoğunlukla politikanın gerçek donanıma aktarılabilmesi için sürtünme, kütle ve arazi koşulları rastgeleleştirilerek binlerce paralel simüle edilmiş robot üzerinde pekiştirmeli öğrenmeyle eğitilir.
• Dil modeli hizalama: Sohbet asistanları, insan tercih karşılaştırmalarıyla eğitilmiş bir ödül modeline göre pekiştirmeli öğrenmeyle ince ayarlanır; akıl yürütme modelleri ise matematik yanıtlarını doğrulayan veya birim testlerini çalıştıran otomatik denetleyicilere göre pekiştirmeli öğrenmeyle eğitilir.
• Öneri sistemleri: Öneri dizisini bir dizi karar olarak ele almak, sistemin yalnızca bir sonraki tıklamayı değil, uzun vadeli etkileşimi optimize etmesini sağlar.

Çoğu robot politikası simülasyonda eğitilir; çünkü bir ajanın milyonlarca denemeye ihtiyacı olabilir ve gerçek donanım bozulabilir. NVIDIA Isaac Lab gibi çerçeveler tek bir GPU üzerinde binlerce ortam çalıştırır; alan rastgeleleştirme ise simüle edilmiş ve gerçek fizik arasındaki farkı azaltır. Kamera tabanlı pekiştirmeli öğrenme sistemleri genellikle ham pikseller yerine bir algı modelinin çıktısı üzerinde işlem yapar: robot üzerinde ROS entegrasyonu aracılığıyla çalışan Ultralytics YOLO26, her kamera karesindeki nesne sınıflarını ve derinlik kamerası kullanıldığında her nesnenin uzaklığını, politikanın durum olarak kullanabileceği hafif mesajlarla yayınlar.

Pekiştirmeli Öğrenme ve İlgili Paradigmalar#

• Denetimli öğrenme: Her eğitim örneği doğru yanıtla birlikte gelir. Bir pekiştirmeli öğrenme ajanı yalnızca, çoğu zaman gecikmeli olan sayısal bir ödül alır ve bir sonraki göreceği veriyi kendi eylemleri belirler.
• Denetimsiz öğrenme: Model, etiketsiz verilerde kümeler gibi yapıları bulur; gerçekleştirilecek eylemler veya en üst düzeye çıkarılacak bir ödül yoktur.
• Markov karar süreci: MDP problem tanımını, pekiştirmeli öğrenme ise geçiş olasılıkları verilmeden deneyim yoluyla bu problemi çözen yöntemler ailesini ifade eder.
• Taklit öğrenmesi: Ajan, en basit hâliyle davranış klonlama yoluyla bir uzmanın gösterimlerini kopyalar ve öğretmenini kolayca geçemez; RL ise hiçbir göstericinin ortaya koymadığı stratejileri keşfedebilir. Bu iki yöntem çoğu zaman birlikte kullanılır: AlphaGo önce insan oyunlarından alınan 30 milyon konumdan öğrendi, ardından kendi kendine oynayarak gelişti; ardılı AlphaGo Zero ise insan verisini tamamen atlayıp AlphaGo'nun bu sürümünü 100 oyunda 0'a karşı yendi.