Action Chunking

Eylem parçalama, robot öğrenmesinde bir politikanın her kontrol adımında tek bir eylem seçmek yerine, tek bir gözlemden sonraki k eylemin bir dizisini veya parçasını tahmin etmesi tekniğidir. Adı, bir dizi eylemi tek bir birim hâlinde gruplandıran psikoloji ve sinirbilim kavramından gelir ve robot öğrenimine 2023'te Action Chunking with Transformers (ACT) ile girmiştir. ACT, düşük maliyetli ALOHA kollarında yalnızca 10 dakikalık gösterimle pil yerleştirme gibi hassas çift elli görevlerde %80-90 başarı elde etti. Parça tahmini, taklit öğrenmede ve genel amaçlı robotik için geliştirilen görsel-dil-eylem (VLA) modellerinde artık standarttır.

Parça Tahmini Neden İşe Yarar#

Davranış klonlamada bir politika, insan gösterimlerindeki eylemleri kopyalamayı öğrenir. Her küçük hata robotu gösterimlerin kapsamadığı bir duruma sokar; bu durumda sonraki tahmin daha kötü olur ve uzun bir görev boyunca hatalar birikir. Her tahminde k eylemi gerçekleştirmeyi taahhüt eden bir politika, bölüm başına k kat daha az karar verir; ACT yazarları bunu görevin etkin ufkunda k kat azalma olarak tanımlar. İki görevde ortalaması alınan benzetimli bir çıkarım deneyinde başarı, her seferinde tek eylem tahmin edildiğinde %1'den 100 eylemlik parçalarla %44'e yükseldi.

Parçalar, tek bir gözlemin yakalayamayacağı zamanlamayı da içerir. İnsan göstericiler duraklar ve tereddüt eder; duraklamadan önce ve sonra aynı görüntüyü gören tek adımlı bir politika beklemesi mi yoksa hareket etmesi mi gerektiğini anlayamaz, ancak duraklamayı içeren bir parça bu davranışı tekrarlar. Gösterimler bir görevi yerine getirmenin iki geçerli yolunu sunduğunda, tüm diziyi bir kerede tahmin etmek robotun iki yolu ortalaması yerine bunlardan birini izlemesini sağlar.

Robot bir parçayı yürütür, sonra politikadan yeni bir parça ister:

Tüm parça bittikten sonra yeniden planlama, model çağrısı sayısını en aza indirir; parçanın bir bölümü tamamlandıktan sonra yeniden planlama ise Diffusion Policy gibi model öngörülü denetim yaklaşımındaki kayan ufuk fikrini izler ve beklenmedik durumlara daha hızlı tepki verir.

Parçalar Arasındaki Geçişleri Yumuşatma#

Robot bir parça boyunca açık çevrim hareket eder ve her yeni parça yeni bir tahminle başlar; bu nedenle bir parça diğerine devredilirken harekette sıçrama olabilir. ACT'nin zamansal topluluk yöntemi, politikayı her adımda sorgular ve geçerli adım için tüm parça tahminlerinin ağırlıklı ortalamasını yürütür; exp(−m·i) ağırlıkları en eski tahmine en fazla ağırlığı verir. Bu NumPy örneği, her parçasında kendi küçük hatası bulunan temsili bir politika için sıradan parçalamayla zamansal topluluk yöntemini karşılaştırır:

import numpy as np

rng = np.random.default_rng(0)
k, steps, m = 10, 100, 0.1  # chunk size, episode length, temporal-ensembling decay
target = np.sin(np.linspace(0, np.pi, steps + k))  # the demonstrated joint trajectory

# Stand-in policy: at step t it predicts actions for steps t..t+k-1, each chunk off by its own error
chunks = [target[t : t + k] + rng.normal(0, 0.05) for t in range(steps)]

# Plain chunking: query every k steps and execute each chunk open loop
plain = np.concatenate([chunks[t] for t in range(0, steps, k)])

# Temporal ensembling (ACT): query every step and average all predictions for step t, oldest weighted most
ensembled = []
for t in range(steps):
    preds = [chunks[s][t - s] for s in range(max(0, t - k + 1), t + 1)]
    weights = np.exp(-m * np.arange(len(preds)))
    ensembled.append(np.dot(weights, preds) / weights.sum())

for name, actions in (("plain", plain), ("ensembled", np.array(ensembled))):
    print(f"{name}: largest jump between consecutive actions = {np.abs(np.diff(actions)).max():.3f}")
print(f"demonstration: largest jump = {np.abs(np.diff(target[:steps])).max():.3f}")

Sıradan parçalamada en büyük adım adım sıçrama, parçalar arasındaki bir geçiş noktasında 0,085 olur; bu, gösterimdeki 0,029 değerin yaklaşık üç katıdır. Topluluk yöntemi bu değeri 0,044'e indirir; çünkü yürütülen her eylem, farklı gözlemlerden üretilmiş en fazla on tahminin ortalamasını alır.

Daha büyük modeller geçişleri gizlemeyi zorlaştırır; çünkü çıkarım bir kontrol adımından daha uzun sürebilir. Physical Intelligence'ın gerçek zamanlı parça oluşturma yöntemi, geçerli parça hâlâ yürütülürken sonraki parçayı üretir, çıkarım gecikmesi boyunca yürütülecek eylemleri sabitler ve geri kalan eylemleri bunlarla eşleşecek şekilde tamamlar. Bu yöntem, 300 ms'yi aşan gecikmelere rağmen kibrit çakma gibi dinamik görevlerin çalışmasını sağladı.

Modern Robot Politikalarında Eylem Parçalama#

• ACT: ALOHA'nın 50 Hz kontrol hızında iki saniyelik hareketi temsil eden, 100 eklem konumu hedefinden oluşan parçalar üreten koşullu varyasyonel otokodlayıcı olarak eğitilmiş bir Transformer.
• Difüzyon politikaları: Her eylem dizisini yinelemeli olarak gürültüsünü gidererek üretirler; bu, birkaç farklı çözümü olan gösterimleri iyi şekilde temsil eder.
• VLA modelleri: Physical Intelligence'ın π0 modeli, bir görsel-dil modelini, 50 eylemlik parçalar üreten ve 50 Hz'e kadar kontrol sağlayan akış eşleştirme yöntemiyle eğitilmiş bir eylem uzmanıyla birleştirir. Hugging Face'in LeRobot kitaplığı ACT, Diffusion Policy ve π0'ın açık uygulamalarını sunar.

Bu politikaların çoğu ham kamera görüntülerini bir öğrenilmiş omurga ağı kullanarak kodlar. Bir politika bunun yerine bir algılayıcıdan gelen nesne konumlarını koşul olarak kullanabilir: bir Ultralytics YOLO26 modelinin ince ayarı, iş hücresindeki parçalar kullanılarak yapıldığında model her kareyi birkaç sınırlayıcı kutu veya anahtar nokta koordinatına dönüştürür; parçalı politika da ham pikseller yerine bu koordinatları durum olarak kullanır.

Eylem Parçalama ve İlgili Kavramlar#

• Eylem tanıma: Bir videodaki etkinliği belirler. Eylem parçalama ise robotun uygulayacağı komutları üretir.
• Model öngörülü kontrol: Her adımda bir dinamik modeli üzerinden eylem dizisini optimize eder. Parçalı politika, dizilerini gösterimlerden öğrenir ve bir modele ihtiyaç duymaz.
• Büyük eylem modelleri: Yazılım arayüzlerinde tıklamalar ve API çağrıları aracılığıyla eyleme geçen AI ajanlarıdır. Eylem parçalama, ACT'nin ALOHA'nın iki kolu için her adımda ürettiği 14 boyutlu eklem konumu vektörü gibi düşük seviyeli motor komutlarıyla ilgilidir.