YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Superalignment

Süper hizalama, insan denetçilerinden daha akıllı yapay zekâ sistemlerini hizalama problemidir; zayıftan güçlüye genelleme ve gözetim yöntemleriyle incelenir.

Süper hizalama, kendilerini denetleyen insanlardan çok daha yetenekli yapay zekâ sistemlerini hizalama problemidir; aynı zamanda OpenAI'nin bu problem üzerinde çalışmak için 2023'te başlattığı araştırma programının adıdır. İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF) gibi mevcut hizalama yöntemleri, hangi model çıktılarının daha iyi olduğuna insanların karar vermesine dayanır. Bir model, denetçilerinin güvenilir biçimde kontrol edemediği kodlar, kanıtlar veya planlar yazmaya başladığında bu yargılar güvenilir bir eğitim sinyali olmaktan çıkar; model, doğru yanıtlar yerine değerlendiricilerine doğru görünen yanıtlar üretmeyi öğrenebilir. Süper hizalama araştırmaları, bu tür sistemleri yine de denetleme, sınama ve düzeltme yolları arar.

Terimin Kökeni#

OpenAI, baş bilim insanı Ilya Sutskever ve hizalama başkanı Jan Leike'in eş liderliğini yaptığı bir ekiple 5 Temmuz 2023'te süper hizalama girişimini duyurdu. Şirket, o tarihe kadar güvence altına aldığı hesaplama gücünün %20'sini bu çalışmaya ayırmayı ve süper zekâyı hizalamanın temel teknik zorluklarını dört yıl içinde çözmeyi hedefledi. Planı, yaklaşık insan düzeyinde bir otomatik hizalama araştırmacısı oluşturup bu araştırmayı daha fazla hesaplama gücüyle ölçeklendirmekti. Her iki liderin de şirketten ayrılmasının ardından OpenAI, Mayıs 2024'te ekibi dağıttı; terim genel problem için kullanılmaya devam ediyor.

Süper hizalama, yapay zekâ hizalamasının bir alt kümesidir. Hizalama, RLHF, anayasal yapay zekâ ve doğrudan tercih optimizasyonu gibi yöntemlerle herhangi bir sistemin tasarımcılarının niyetini izlemesini kapsar; bu yöntemler, çıktıları bir insanın veya insanlarca yazılmış kuralların değerlendirebileceğini varsayar. Süper hizalama ise bu varsayımın geçerli olmadığı durumu, yani gelecekteki yapay genel zekâ (AGI) ve süper zekâ gibi insan düzeyini aşan sistemleri ele alır. Kötüye kullanım ve kazalar üzerine yapılan çalışmalarla birlikte yapay zekâ güvenliğinin bir parçasıdır.

Zayıftan Güçlüye Genelleme#

Henüz insanüstü modeller olmadığından, ekibin Collin Burns ve çalışma arkadaşlarının Aralık 2023'te yayımladığı ilk makalesi Zayıftan Güçlüye Genelleme, bir benzetmeyi inceledi: küçük bir model insan denetçiyi, büyük bir temel model ise insanüstü öğrenciyi temsil ediyordu. GPT-4 yalnızca GPT-2 düzeyindeki bir denetçinin ürettiği etiketlerle ince ayar yaptığında, bu denetçiyi sürekli olarak geride bıraktı ancak kendi tam kapasitesinin oldukça altında kaldı. Zayıf etiketlerle çelişen durumlarda bile öğrenciyi kendinden emin tahminler yaptığı için ödüllendiren yardımcı bir güven kaybı eklemek, doğal dil işleme (NLP) görevlerinde GPT-3.5'e yakın performans elde edilmesini sağladı.

Makale başarıyı, performans farkının kapanma oranı (PGR) ile ölçer: zayıf denetçi ile gerçek etiketlerle eğitilmiş güçlü model arasındaki doğruluk farkının, zayıf denetimle eğitilmiş öğrenci tarafından kapatılan kısmı. Aynı deney küçük ölçekte scikit-learn ile de gerçekleştirilir; zayıf denetçi olarak sığ bir karar ağacı, güçlü öğrenci olarak da bir destek vektör makinesi (SVM) kullanılır:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

Ağaç, test rakamlarının %69,0'ını doğru sınıflandırır; yalnızca ağacın etiketleriyle eğitilen SVM ise %81,9'a ulaşarak, gerçek etiketlerle eğitilmiş bir SVM'nin %97,4'lük sonucuna olan farkın %45'ini kapatır. Öğrenci, denetçisini geride bırakır; çünkü ağacın hataları eksenlere hizalı bölmelerden kaynaklanır ve düzenlileştirilmiş SVM bu bölmeleri iyi uyduramaz, dolayısıyla bu hataların çoğu tahminlerine yansımaz. Ultralytics Platform da küçük ölçekte aynı soruyu sorar: Toplu Açıklama tüm veri kümesini tek bir modelle etiketler; daha sonra bu etiketlerle eğitilen bir YOLO26 modeli, etiketleme modelinin hatalarını kopyalamadığı sürece onu geride bırakabilir.

Diğer Yaklaşımlar#

Zayıftan güçlüye eğitim, bu alandaki birkaç araştırma hattından biridir. Ölçeklenebilir denetim, insan denetçilere yapay zekâ yardımı sağlar: Geoffrey Irving, Paul Christiano ve Dario Amodei'nin 2018'de önerdiği yapay zekâ münazarasında, iki model bir insan hakimin önünde karşıt yanıtları savunur; çünkü yalanı çürütmenin yalan söylemekten daha zor olduğu varsayılır. Sandviçleme deneyleri, model yardımı alan uzman olmayan kişilerin uzman yargılarıyla —gerçekliğin temsili olarak— eşleşmesini gerektiren görevlerde denetim yöntemlerini sınar.

Diğer çalışmalar yalnızca modelin çıktısını değil, ne hesapladığını da incelemeye çalışır. Mekanik yorumlanabilirlik ve seyrek otomatik kodlayıcılar, aldatmayla bağlantılı iç özellikleri arar; araştırmacılar da algılama yöntemlerinin bunları yakalayıp yakalayamadığını sınamak için arka kapılı uyuyan ajanlar gibi hizalanmamış modelleri bilerek oluşturur. İnsanüstü bir modelin geniş ölçekte istismar edebileceği davranışlar, mevcut büyük dil modellerinde (LLM'ler) bile gözlemlendi: eğitim sırasında hizalama taklidi, değerlendirmelerde bilerek düşük performans gösterme ve ödül hilesi.

Burns ve çalışma arkadaşları, benzetmelerindeki önemli bir boşluk olarak taklit etmeyi gösteriyor. GPT-4, GPT-2'yi taklit etmek üzere önceden eğitilmemişti ve daha büyük öğrenciler zayıf denetçileri taklit etmekte daha çok zorlandı. Oysa insan verileriyle önceden eğitilmiş insanüstü bir modelin insan denetçileri çok iyi taklit etmesi; onların hatalarını yinelemesi ve yalnızca insan düzeyindeki yanıtları üretmesi bekleniyor.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla