Constitutional AI

Anayasal Yapay Zekâ (CAI), Anthropic tarafından bir dil modelini zararsız olacak şekilde eğitmek için geliştirilmiş bir yöntemdir. Bireysel çıktıları zararlı olarak işaretleyen insan etiketleri yerine modele, anayasa adı verilen yazılı bir ilkeler bütünü verilir. Aralık 2022'de yayımlanan Anayasal Yapay Zekâ: Yapay Zekâ Geri Bildirimiyle Zararsızlık başlıklı makalede tanıtılan bu yöntem, modelin kendi yanıtlarını bu ilkelere göre eleştirip düzeltmesini sağlar; ardından hangi yanıtın ilkelere daha iyi uyduğuna dair yapay zekâ yargıları, pekiştirmeli öğrenme için tercih verisi olarak kullanılır. Makale, yararlılık için insan etiketlerini kullanmaya devam etmiş ve bunları yalnızca zararsızlık için değiştirmiştir. Anthropic, 2023'ten beri Claude modellerini anayasa tabanlı yöntemlerle eğitiyor.

Anayasal Yapay Zekâ Nasıl Çalışır?#

Eğitim, yararlı olacak şekilde zaten ince ayar yapılmış bir modelle başlar ve iki aşamada yürütülür:

1. Denetimli aşama: Model, zararlı yanıtları ortaya çıkarmak üzere tasarlanmış kırmızı takım istemlerini yanıtlar. Ardından modelden, anayasadan rastgele seçilmiş bir ilkeye göre kendi yanıtını eleştirmesi ve bu eleştiriyi ele alacak biçimde yanıtı yeniden yazması istenir; bu işlem bir veya daha fazla tur sürer. Model, son revizyonlar üzerinde ince ayar görür.
2. Pekiştirmeli öğrenme aşaması: İnce ayar yapılmış model yanıt çiftleri üretir; bir ilkeyle yönlendirilen geri bildirim modeli, isteğe bağlı olarak önce adım adım akıl yürüterek, iki yanıttan hangisinin daha iyi olduğuna karar verir. Bu yapay zekâ etiketleri ve insanlardan alınan yararlılık etiketleriyle eğitilmiş bir tercih modeli, pekiştirmeli öğrenme için ödülü sağlar. Makale bu aşamaya yapay zekâ geri bildiriminden pekiştirmeli öğrenme (RLAIF) adını vermiştir.

Ortaya çıkan modeller, aynı yararlılık düzeyinde, insanlardan alınan zararsızlık etiketleriyle eğitilmiş modellere göre daha az zararlıydı ve daha az kaçamak yanıt veriyordu: Hassas istekleri doğrudan reddetmek yerine bunları ele alıyor ve itirazlarını açıklıyorlardı.

Bir Anayasanın İçeriği#

2022 tarihli makalede eleştiriler için 16 kısa ilke, yapay zekâ geri bildirimi içinse 16 ilke daha kullanıldı; her biri “Bu asistan yanıtlarından hangisi daha az zararlı? Bilge, etik, nazik ve dost canlısı bir kişinin söyleme olasılığı daha yüksek olan yanıtı seç.” gibi bir talimat biçimindeydi. Mayıs 2023'te yayımlanan Claude'un ilk anayasası, BM İnsan Hakları Evrensel Beyannamesi gibi kaynaklardan yararlandı. Ekim 2023'te Anthropic ve Collective Intelligence Project, yaklaşık 1.000 Amerikalının Polis müzakere platformunda ilkeler önerip bunlar için oy kullandığı bir kamu katılımı deneyi yürüttü. Bu kamu anayasasıyla eğitilen model, Anthropic'in kendi modeliyle benzer performans gösterdi ve dokuz toplumsal boyutta daha az önyargı sergiledi.

Anthropic, Ocak 2026'da kurallar listesini, istenen davranışın gerekçesini açıklayan çok daha uzun bir Claude anayasasıyla değiştirdi. Bu anayasa dört önceliği sırayla belirler: genel olarak güvenli olmak, genel olarak etik olmak, Anthropic'in yönergelerine uymak ve gerçekten yardımcı olmak. Ayrıca az sayıda katı kuralı korur ve CC0 kamu malı adanmasıyla yayımlanmıştır. Claude, anayasa geçerli olduğunda yapılan konuşmalar ve aday yanıtların sıralamaları dâhil sentetik eğitim verileri üretmek için bu belgeyi kullanır. Ultralytics Platform içindeki Akıllı Anotasyon, bu anayasa tabanlı yöntemlerle eğitilmiş Anthropic'in Claude görme modellerini çalıştırarak bir algılama veri kümesinin sınıfları için kutu taslakları oluşturabilir; anotatörler bu kutuları inceleyip kaydeder.

Anayasal Yapay Zekâ, RLHF ve İlgili Yöntemler#

• İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF): İnsan değerlendiriciler, ödül modelini eğitmek için yanıtları karşılaştırır. CAI aynı iş akışını korur, ancak insanların zararsızlık karşılaştırmalarını ilkelerle yönlendirilen yapay zekâ karşılaştırmalarıyla değiştirir; böylece değerlendiricilerin büyük miktarda zararlı metni okuması gerekmez ve eğitim hedefi okunabilir, düzenlenebilir hale gelir. Yapay zekâ değerlendiricisinin kendine özgü kör noktaları vardır; bu nedenle ilkelerin ifade ediliş biçimi sonucu etkiler.
• Genel olarak RLAIF: Yapay zekâ tarafından oluşturulan tercih etiketleriyle yapılan her türlü pekiştirmeli öğrenmedir. CAI, ilkelerle yönlendirilen biçimidir; 2023 tarihli bir Google araştırması, RLAIF'in özetleme ve diyalog görevlerinde RLHF ile karşılaştırılabilir performans gösterdiğini bulmuştur.
• Doğrudan Tercih Optimizasyonu (DPO): Ayrı bir ödül modeli kullanmadan tercih çiftlerinden öğrenme yöntemidir. İnsan etiketlerinin yanı sıra ilkelere göre yönlendirilen yapay zekâ etiketleriyle de eğitilebilir.
• Yapay zekâ koruma önlemleri: Çıkarım sırasında bir modelin çevresine uygulanan filtrelerdir. Anthropic'in Anayasal Sınıflandırıcıları bu iki fikri birleştirir: Anayasa, izin verilen ve verilmeyen içerikleri tanımlar; Claude bundan sentetik örnekler üretir ve eğitilmiş girdi ve çıktı sınıflandırıcıları jailbreak girişimlerini engeller. Şubat 2025'te otomatik testlerde jailbreak başarı oranını %86'dan %4.4'e düşürdüler; Ocak 2026 sürümü ise taban sınıflandırıcıya kıyasla işlem maliyetini yaklaşık 40 kat azaltırken üretim trafiğinin %0.05'ini reddetti.