Model Predictive Control (MPC)

Model öngörülü kontrol (MPC), bir sistemin yakın gelecekteki davranışını tahmin etmek için sistem modelini kullanan, kısıtları gözetirken bir hedefe en iyi şekilde ulaşacak eylem dizisini seçen, yalnızca ilk eylemi uygulayan ve ardından yeni ölçümlerle tüm süreci sonraki zaman adımında yineleyen bir kontrol yöntemidir. Bu planla, uygula ve yeniden planla döngüsüne kayan ufuklu kontrol denir; bu yaklaşım, denetleyicinin yalnızca mevcut hataya tepki vermek yerine neler olacağını öngörmesini sağlar. MPC, 1970'lerin sonlarında petrol rafinasyonu ve kimyasal işleme alanlarında gelişti; Shell'in Dynamic Matrix Control sistemi ilk endüstriyel uygulamalardan biriydi. Günümüzde robotları, otonom araçları ve bina iklimlendirme sistemlerini yönlendirir.

Bir MPC Denetleyicisinin Bileşenleri#

Her MPC denetleyicisi dört bileşeni bir araya getirir:

• Dinamik modeli: Mevcut durum ve bir eylemden sonraki durumu tahmin eder; örneğin belirli bir direksiyon açısında bir aracın konumunun ve yönünün nasıl değişeceğini öngörür. Fizik denklemlerinden, kaydedilmiş veriler üzerinde sistem tanımlamadan veya kaydedilmiş yörüngelerle eğitilmiş bir sinir ağından elde edilebilir.
• Maliyet fonksiyonu: Tahmin edilen bir yörüngeyi puanlar; genellikle hedeften uzaklığı, enerji kullanımını ve kontrollerdeki ani değişimleri cezalandırır.
• Kısıtlar: Her planın uyması gereken sınırlar; örneğin azami motor torku, hız sınırları ve engellerin çevresindeki girilmez bölgeler. Kısıtları açıkça ele almak, yalnızca hatalar ortaya çıktıktan sonra tepki veren ve bir sınıra önceden bakamayan klasik PID kontrolüne kıyasla MPC'nin temel avantajıdır.
• İyileştirici: Her kontrol adımında ufuk içindeki en iyi eylem dizisini arar.

Model, optimizasyonun ne kadar zor olacağını belirler. Kuadratik maliyetli doğrusal bir model, özel çözücülerin milisaniyeler veya daha kısa sürede tamamladığı bir kuadratik programlama problemine dönüşür. Doğrusal olmayan modeller ise genellikle durumu tahmin etmek için bir genişletilmiş Kalman filtresi veya örnekleme tabanlı aramayla birlikte kullanılan doğrusal olmayan MPC çözücüleri gerektirir. Her kontrol adımında iyileştirici, aday planları tahmin edip iyileştiren bir iç döngü çalıştırır; denetleyici ise bir eylemi uygulayıp yeni ölçülen durumdan yeniden başlayan bir dış döngü yürütür:

Ufuk uzunluğu, ayarlanması gereken temel seçimdir. Daha uzun bir ufuk, aracın keskin bir viraj için erken fren yapmasını sağlar; ancak her ek adım hesaplama yükünü artırır ve modelin tahmin hatasını büyütür. Üstelik optimizasyonun tamamının tek bir kontrol süresi içinde bitmesi gerekir.

Kodda Kayan Ufuk#

Aşağıdaki kod parçası, ivmesi artı veya eksi 1 ile sınırlı bir arabayı 5. konumuna gidip duracak şekilde kontrol eder. Her adımda 500 rastgele ivme planı örnekler, arabanın dinamikleriyle her planın yörüngesini tahmin eder, maliyeti en düşük planın ilk eylemini uygular ve yeni durumdan yeniden planlama yapar:

import numpy as np

rng = np.random.default_rng(0)
position, velocity, target = 0.0, 0.0, 5.0
dt, horizon = 0.1, 30

for _ in range(100):
    # Sample 500 candidate plans of accelerations within the actuator limit of +/-1
    plans = rng.uniform(-1, 1, size=(500, horizon))
    # Predict every plan's trajectory with the cart's dynamics model
    v = velocity + dt * plans.cumsum(axis=1)
    p = position + dt * v.cumsum(axis=1)
    # Cost: distance from the target at each step plus speed at the end of the horizon
    cost = ((p - target) ** 2).sum(axis=1) + 10 * v[:, -1] ** 2
    # Apply only the first action of the cheapest plan, then replan from the new state
    velocity += dt * plans[cost.argmin(), 0]
    position += dt * velocity

print(f"position: {position:.2f}, velocity: {velocity:.2f}")

10 saniyelik benzetimden sonra araba 5,04 konumunda ve 0,04 hızla durur. Hiçbir rastgele plan tek başına iyi değildir; ancak tek bir adımı uygulayıp ölçülen durumdan yeniden planlama yapmak hataları sürekli düzeltir. Rastgele atış adı verilen bu yaklaşım, çapraz entropi yöntemi ile model öngörülü yol integrali (MPPI) kontrolünü de içeren örnekleme tabanlı MPC ailesinin en basit üyesidir. Georgia Tech araştırmacıları, toprak pistte beşte bir ölçeğindeki bir ralli arabasını yarıştırmak için MPPI kontrolünü kullandı.

Tesislerde, Robotlarda, Araçlarda ve Binalarda MPC#

• Proses endüstrileri: Rafineriler, kimya tesisleri ve enerji santralleri; yöntemin ortaya çıktığı alanlarda, üretimi en üst düzeye çıkaran sınırlara yakın sıcaklıkları, basınçları ve ürün kalitesini korumak için MPC kullanır.
• Bacaklı robotlar: MIT'nin Cheetah 3 robotu, yer tepki kuvvetlerini saniyede birçok kez yeniden hesaplayan dışbükey bir MPC kullanarak koştu ve dengesini korudu. MIT daha sonra bu denetleyiciyi Mini Cheetah için açık kaynaklı yazılım olarak yayımladı.
• Sürüş: Otonom araçlardaki yol izleme denetleyicileri, direksiyon, ivme ve konfor sınırlarına uyarak planlanmış bir yörüngeyi akıcı biçimde izlemek için MPC kullanır.
• Binalar: Isıtma ve soğutma denetleyicileri, hava durumu ve doluluk tahminlerinden yararlanarak oda sıcaklıklarını saatler öncesinden tahmin eder ve enerjinin en ucuz olduğu zamanlarda ön soğutma ya da ön ısıtma yapar.

MPC ve İlgili Yaklaşımlar#

• PID kontrolü: PID denetleyicisi çıktısını mevcut hataya, hatanın integraline ve değişim oranına göre hesaplar. Basit ve ucuzdur; ancak gelecek için bir modeli ve kısıt kavramı yoktur.
• Doğrusal kuadratik düzenleyici (LQR): LQR, kuadratik maliyetli doğrusal bir sistem için sonsuz ufukta en iyi geri besleme yasasını kapalı biçimde bulur. MPC, bunun çevrimiçi çözülen sonlu ufuklu bir sürümünü kullanır; böylece kısıtları uygular ve doğrusal olmayan modelleri ele alabilir.
• Pekiştirmeli öğrenme: RL, dağıtımdan önce deneyimlerden bir politika öğrenir; dağıtımdan sonra bir eylem seçmek için tek ve hızlı bir ileri geçiş yeterlidir. MPC ise açık bir model kullanarak yeni bir optimizasyonu çevrimiçi çözer.

Bu iki yaklaşım giderek daha fazla birleşiyor. Model tabanlı derin pekiştirmeli öğrenme, bir dünya modeli öğrenip bu model üzerinden MPC ile plan yapar. TD-MPC2 gibi yöntemler, öğrenilmiş bir değer işlevi kısa ufkun ötesinde ne olacağını puanlarken öğrenilmiş gizil bir uzayda plan yapar. Öğrenilmiş dinamik modeller bir tür öngörücü modellemedir; bu modellerin ufuk boyunca gösterdiği doğruluk, böyle bir denetleyicinin ne kadar ileriye yararlı biçimde plan yapabileceğini belirler.

MPC için Algılama#

Bir MPC denetleyicisi, algılama performansının izin verdiği ölçüde iyi plan yapar ve insanların arasında hareket eden bir robot gibi bir fiziksel AI sistemi için sistemin durumu, bu insanların nerede olduğunu ve hangi yöne doğru gittiklerini içermelidir. Ultralytics YOLO26 modelini izleme modu nda çalıştıran bir kamera, her karede her kişi için bir sınırlayıcı kutu ve kalıcı bir takip ID'si sağlar. Bu izler, derinlik tahmini veya kamera kalibrasyonu ve bir Kalman filtresi ile birleştirildiğinde, denetleyicinin kısıtlarının uzak durulmasını sağladığı engellerin konum ve hızlarına dönüşür.