AI Debate

AI tartışması, iki AI sisteminin bir soruya verilen birbiriyle çelişen yanıtları savunduğu; genellikle bir kişi veya daha zayıf bir model olan hakemin hangi tarafın daha güçlü bir sav sunduğuna karar verdiği bir AI güvenliği tekniğidir. Geoffrey Irving, Paul Christiano ve Dario Amodei, insanların doğrudan denetleyemeyecekleri kadar zor görevlerde AI sistemlerini denetlemesini sağlayan ölçeklenebilir bir gözetim yöntemi olarak bu tekniği 2018'de OpenAI'de AI Safety via Debate makalesinde önerdi. Yöntem, bir savdaki kusuru bulmanın doğru yanıtı üretmekten daha kolay olduğu ve karşı tarafın bu kusuru belirtmek için her türlü nedene sahip olduğu düşüncesine dayanır.

Bir Tartışma Oyunu Nasıl İşler#

Bir soru veya önerilen eylem iki AI ajanına iletilir. Ajanlar sabit sayıda tur boyunca sırayla kısa ifadeler sunarak hakemi ikna etmeye çalışır; hakemin kararı da ödül olur. Oyun sıfır toplamlıdır. Bu nedenle her iki ajanı da pekiştirmeli öğrenmeyle kendi kendine oynama üzerinden eğitmek, her birini diğerinin hatalarını açığa çıkarmaya iter. Bir yalanı çürütmek savunmaktan daha kolaysa, kazanma stratejisi doğruyu söylemektir.

Özgün makale, hesaplama karmaşıklığı kuramına bir benzetmeyle savı biçimsel hale getirdi. En iyi oyunla tartışma, polinom zamanda çalışan bir hakemin PSPACE sınıfındaki herhangi bir soruyu yanıtlamasına olanak tanırken, tek bir yanıtı doğrudan değerlendirmek yalnızca NP'ye ulaşır. İlk deneyde görüntüler kullanıldı. İki ajan, başka hiçbir şey görmeyen seyrek bir görüntü sınıflandırıcısına bir MNIST rakamının piksellerini sırayla gösterdi; ajanlardan biri gerçek rakamı, diğeri yanlış bir rakamı savundu. Tartışma, gösterilen 6 pikselle hakemin doğruluğunu %59,4'ten %88,9'a, 4 pikselle de %48,2'den %85,2'ye çıkardı.

Dil Modelleriyle Yapılan Deneyler#

Daha sonraki deneylerde büyük dil modelleri (LLM) ile tartışma sınandı. Akbir Khan'ın yönettiği 2024 tarihli Debating with More Persuasive LLMs Leads to More Truthful Answers çalışmasında, uzun bir öyküyü okuyabilen iki uzman model, okuduğunu anlama sorusuna farklı yanıtlar savunurken öyküyü göremeyen hakemler taraf seçti. Tartışma doğruluğu, basit temel yöntemlerdeki %48 ve %60'a kıyasla, model hakemlerde %76'ya, insan hakemlerde %88'e çıkardı. Tartışmacıları ikna edicilik için optimize etmek hakemlerin doğruluğunu artırdı; tartışmanın hedeflediği sonuç da buydu. Öyküden yapılan alıntılar otomatik olarak kontrol edilip gerçek olarak işaretlendi; böylece tartışmacı kanıt uyduramıyordu. Tartışmacıların hakemin göremediği bir kaynağı görebildiği bu bilgi asimetrisi, çoğu tartışma deneyiminde, gözetmeninden daha fazlasını bilen gelecekteki bir modelin taklidi olarak kullanılır.

Zachary Kenton ve çalışma arkadaşlarının daha kapsamlı bir Google DeepMind çalışması olan On Scalable Oversight with Weak LLMs Judging Strong LLMs, tartışmayı birçok görevde tek bir AI'nın atanmış bir yanıtı savunduğu danışmanlık yöntemiyle karşılaştırdı. Danışmana rastgele bir taraf atandığında tartışma her görevde danışmanlığı geçti. Bilgi asimetrisi olan çıkarımsal soru yanıtlamada, doğrudan yanıt veren hakemi de geride bıraktı; bu asimetrinin olmadığı görevlerde ise sonuçlar karışıktı.

Tartışma bir görüntü hakkındaysa, görsel soru yanıtlama örneğinde olduğu gibi, doğrulanabilir kanıt aynı derecede önemlidir. Ultralytics YOLO26 gibi bir nesne algılayıcı, hakemin "işaretli yaya yolunun içinde iki kişi var" gibi bir iddiayı denetleyebileceği kutular ve sınıf etiketleri sağlar. Bu, metin hakkındaki bir tartışmanın alıntılarla doğrulanmasına benzer.

Diğer Gözetim Yöntemleriyle Karşılaştırma#

• İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF): Değerlendiriciler çıktıları doğrudan yargılar; bu yöntem, insanlar iyi yanıtları kötü yanıtlardan ayırt edebildiği sürece işe yarar. Tartışma, insanların bunu yapamadığı durumları hedefler.
• Akıl yürütme için çok ajanlı tartışma: Bir modelin birkaç kopyasının yanıtlar önerdiği, birbirlerinin yanıtlarını okuduğu ve birkaç tur boyunca bunları gözden geçirdiği, çıkarım zamanı kullanılan bir yöntem. Eğitilmiş bir hakem olmadan aritmetik ve olgusal doğruluğu artırır; argüman alışverişi, bağımsız tahminleri birleştiren topluluk yöntemlerinden ayrılmasını sağlar.
• Anayasal AI: Bir model, çıktıları yazılı ilkelere göre eleştirip yeniden düzenler ve insan etiketlemesinin büyük bölümünü AI geri bildirimiyle değiştirir. Tartışmada eleştiri, hata bulmaya teşvik edilen bir rakipten gelir.
• AI kırmızı ekip çalışması: İnsan veya otomatik saldırganlar, tamamlanmış bir sistemi kusurlar açısından sınar. Tartışmada bu karşıt baskı, her yanıtın içindeki rakip tartışmacıdan gelir.
• Süper uyum: Gözetmenlerinden daha yetenekli sistemleri hizalamaya yönelik daha geniş araştırma gündemi. Tartışma, özyinelemeli ödül modelleme ve zayıftan güçlüye genelleme gibi yaklaşımların yanında, bu gündemdeki aday yöntemlerden biridir.

Bilinen Zayıflıklar#

Hakemlerin kendi önyargıları vardır. Kendinden emin bir ton, uzunluk ve akıcı anlatım doğruluğa üstün gelebilir; model hakemler de yapay zekâ dalkavukluğuna yatkındır. Her iki tartışmacı da aynı modelin kopyası olduğunda, aynı yanlış kanıları paylaşabilirler; böylece hiçbiri hatayı belirtmez ve bir halüsinasyon sorgulanmadan kabul edilir. Tartışma ayrıca pahalıdır; çünkü her soru, uzun bağlamlı üretimin birkaç turunu ve bir hakem kararını gerektirir.

En çok incelenen başarısızlık, üstü kapalı argümandır. Dürüst olmayan bir tartışmacı, bir adımı yanlış olan ama hatayı bulmanın zor olduğu uzun bir akıl yürütme zinciri kurabilir. Dürüst tartışmacı sonucun yanlış olduğunu bilse bile izin verilen turlarda bozuk adıma işaret edemeyebilir; bu durumda hakemin karar vermek için dayanağı kalmaz. Beth Barnes ve Paul Christiano'nun 2020'de yürüttüğü insan deneyleri bu sorunu ortaya çıkardı. Jonah Brown-Cohen, Geoffrey Irving ve Georgios Piliouras 2025'te, bir AI'nın argümanını alt iddialara ayırdığı, diğerinin de her birine olasılık atadığı kanıtlayıcı-tahminci tartışmasını önerdi. Amaç, bir kusuru bulmak zor olduğunda bile dürüstçe oynamayı kazandıran strateji haline getirmekti.