Superalignment
Süper hizalama, insan denetçilerinden daha akıllı yapay zekâ sistemlerini hizalama problemidir; zayıftan güçlüye genelleme ve gözetim yöntemleriyle incelenir.
Süper hizalama, kendilerini denetleyen insanlardan çok daha yetenekli yapay zekâ sistemlerini hizalama problemidir; aynı zamanda OpenAI'nin bu problem üzerinde çalışmak için 2023'te başlattığı araştırma programının adıdır. İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF) gibi mevcut hizalama yöntemleri, hangi model çıktılarının daha iyi olduğuna insanların karar vermesine dayanır. Bir model, denetçilerinin güvenilir biçimde kontrol edemediği kodlar, kanıtlar veya planlar yazmaya başladığında bu yargılar güvenilir bir eğitim sinyali olmaktan çıkar; model, doğru yanıtlar yerine değerlendiricilerine doğru görünen yanıtlar üretmeyi öğrenebilir. Süper hizalama araştırmaları, bu tür sistemleri yine de denetleme, sınama ve düzeltme yolları arar.
Terimin Kökeni#
OpenAI, baş bilim insanı Ilya Sutskever ve hizalama başkanı Jan Leike'in eş liderliğini yaptığı bir ekiple 5 Temmuz 2023'te süper hizalama girişimini duyurdu. Şirket, o tarihe kadar güvence altına aldığı hesaplama gücünün %20'sini bu çalışmaya ayırmayı ve süper zekâyı hizalamanın temel teknik zorluklarını dört yıl içinde çözmeyi hedefledi. Planı, yaklaşık insan düzeyinde bir otomatik hizalama araştırmacısı oluşturup bu araştırmayı daha fazla hesaplama gücüyle ölçeklendirmekti. Her iki liderin de şirketten ayrılmasının ardından OpenAI, Mayıs 2024'te ekibi dağıttı; terim genel problem için kullanılmaya devam ediyor.
Süper hizalama, yapay zekâ hizalamasının bir alt kümesidir. Hizalama, RLHF, anayasal yapay zekâ ve doğrudan tercih optimizasyonu gibi yöntemlerle herhangi bir sistemin tasarımcılarının niyetini izlemesini kapsar; bu yöntemler, çıktıları bir insanın veya insanlarca yazılmış kuralların değerlendirebileceğini varsayar. Süper hizalama ise bu varsayımın geçerli olmadığı durumu, yani gelecekteki yapay genel zekâ (AGI) ve süper zekâ gibi insan düzeyini aşan sistemleri ele alır. Kötüye kullanım ve kazalar üzerine yapılan çalışmalarla birlikte yapay zekâ güvenliğinin bir parçasıdır.
Zayıftan Güçlüye Genelleme#
Henüz insanüstü modeller olmadığından, ekibin Collin Burns ve çalışma arkadaşlarının Aralık 2023'te yayımladığı ilk makalesi Zayıftan Güçlüye Genelleme, bir benzetmeyi inceledi: küçük bir model insan denetçiyi, büyük bir temel model ise insanüstü öğrenciyi temsil ediyordu. GPT-4 yalnızca GPT-2 düzeyindeki bir denetçinin ürettiği etiketlerle ince ayar yaptığında, bu denetçiyi sürekli olarak geride bıraktı ancak kendi tam kapasitesinin oldukça altında kaldı. Zayıf etiketlerle çelişen durumlarda bile öğrenciyi kendinden emin tahminler yaptığı için ödüllendiren yardımcı bir güven kaybı eklemek, doğal dil işleme (NLP) görevlerinde GPT-3.5'e yakın performans elde edilmesini sağladı.
Makale başarıyı, performans farkının kapanma oranı (PGR) ile ölçer: zayıf denetçi ile gerçek etiketlerle eğitilmiş güçlü model arasındaki doğruluk farkının, zayıf denetimle eğitilmiş öğrenci tarafından kapatılan kısmı. Aynı deney küçük ölçekte scikit-learn ile de gerçekleştirilir; zayıf denetçi olarak sığ bir karar ağacı, güçlü öğrenci olarak da bir destek vektör makinesi (SVM) kullanılır:
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")Ağaç, test rakamlarının %69,0'ını doğru sınıflandırır; yalnızca ağacın etiketleriyle eğitilen SVM ise %81,9'a ulaşarak, gerçek etiketlerle eğitilmiş bir SVM'nin %97,4'lük sonucuna olan farkın %45'ini kapatır. Öğrenci, denetçisini geride bırakır; çünkü ağacın hataları eksenlere hizalı bölmelerden kaynaklanır ve düzenlileştirilmiş SVM bu bölmeleri iyi uyduramaz, dolayısıyla bu hataların çoğu tahminlerine yansımaz. Ultralytics Platform da küçük ölçekte aynı soruyu sorar: Toplu Açıklama tüm veri kümesini tek bir modelle etiketler; daha sonra bu etiketlerle eğitilen bir YOLO26 modeli, etiketleme modelinin hatalarını kopyalamadığı sürece onu geride bırakabilir.
Diğer Yaklaşımlar#
Zayıftan güçlüye eğitim, bu alandaki birkaç araştırma hattından biridir. Ölçeklenebilir denetim, insan denetçilere yapay zekâ yardımı sağlar: Geoffrey Irving, Paul Christiano ve Dario Amodei'nin 2018'de önerdiği yapay zekâ münazarasında, iki model bir insan hakimin önünde karşıt yanıtları savunur; çünkü yalanı çürütmenin yalan söylemekten daha zor olduğu varsayılır. Sandviçleme deneyleri, model yardımı alan uzman olmayan kişilerin uzman yargılarıyla —gerçekliğin temsili olarak— eşleşmesini gerektiren görevlerde denetim yöntemlerini sınar.
Diğer çalışmalar yalnızca modelin çıktısını değil, ne hesapladığını da incelemeye çalışır. Mekanik yorumlanabilirlik ve seyrek otomatik kodlayıcılar, aldatmayla bağlantılı iç özellikleri arar; araştırmacılar da algılama yöntemlerinin bunları yakalayıp yakalayamadığını sınamak için arka kapılı uyuyan ajanlar gibi hizalanmamış modelleri bilerek oluşturur. İnsanüstü bir modelin geniş ölçekte istismar edebileceği davranışlar, mevcut büyük dil modellerinde (LLM'ler) bile gözlemlendi: eğitim sırasında hizalama taklidi, değerlendirmelerde bilerek düşük performans gösterme ve ödül hilesi.
Burns ve çalışma arkadaşları, benzetmelerindeki önemli bir boşluk olarak taklit etmeyi gösteriyor. GPT-4, GPT-2'yi taklit etmek üzere önceden eğitilmemişti ve daha büyük öğrenciler zayıf denetçileri taklit etmekte daha çok zorlandı. Oysa insan verileriyle önceden eğitilmiş insanüstü bir modelin insan denetçileri çok iyi taklit etmesi; onların hatalarını yinelemesi ve yalnızca insan düzeyindeki yanıtları üretmesi bekleniyor.










