Constitutional AI

Anayasal YZ, yapay zeka sistemlerini, yalnızca bireysel çıktılar üzerinde kapsamlı insan geri bildirimine güvenmek yerine, onlara bir dizi üst düzey ilke—bir "anayasa"—sağlayarak insan değerleriyle uyumlu hale getirmek için kullanılan bir yöntemdir. Bu yaklaşım, temel olarak YZ modeline "yardımcı ol", "zararsız ol" ve "ayrımcılıktan kaçın" gibi önceden tanımlanmış kurallar bütününe dayanarak kendi davranışını eleştirip gözden geçirmeyi öğretir. Geliştiriciler, bu etik yönergeleri doğrudan eğitim sürecine yerleştirerek, manuel İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) yöntemine bağımlı olanlardan daha güvenli, daha şeffaf ve ölçeklendirilmesi daha kolay sistemler oluşturabilirler.

Link to this sectionAnayasal YZ'nin Mekanizması#

Anayasal YZ'nin temel yeniliği, modellerin uyum sürecini otomatikleştiren iki aşamalı eğitim sürecinde yatmaktadır. İnsanların her doğru yanıtı etiketlemesi gereken geleneksel denetimli öğrenme yönteminin aksine, Anayasal YZ eğitim verilerini üretmek için modelin kendisini kullanır.

1. Denetimli Öğrenme Aşaması: Model, istemlere yanıtlar üretir ve ardından kendi çıktısını anayasal ilkelere dayanarak eleştirir. Yanıtı, kurallarla daha iyi uyum sağlayacak şekilde revize eder. Bu iyileştirilmiş veri seti daha sonra modeli ince ayar yapmak ve ona yönergeleri doğası gereği izlemeyi öğretmek için kullanılır.

2. Pekiştirmeli Öğrenme Aşaması: Genellikle Yapay Zeka Geri Bildiriminden Pekiştirmeli Öğrenme (RLAIF) olarak adlandırılan bu aşama, insan etiketleyicinin yerini alır. YZ, yanıt çiftleri oluşturur ve anayasaya en uygun olanı seçer. Bu tercih verileri bir ödül modelini eğitir ve bu model daha sonra standart pekiştirmeli öğrenme teknikleri aracılığıyla istenen davranışları pekiştirir.

Link to this sectionBilgisayarlı Görü ile İlişkisi#

While Constitutional AI originated in the context of Large Language Models (LLM) developed by organizations like Anthropic, its principles are increasingly relevant for broader machine learning tasks, including Computer Vision (CV).

• Etik Görüntü Oluşturma: Görüntü oluşturmaya yönelik Üretken YZ araçları, şiddet içeren, nefret dolu veya telif hakkı içeren görseller üretecek istemleri reddedecek şekilde "anayasal" olarak eğitilebilir. Bu, model ağırlıklarının kendilerinin güvenlik kısıtlamalarını kodlamasını sağlayarak zararlı görsel içeriklerin oluşturulmasını engeller.
• Güvenlik Açısından Kritik Görüntü Sistemleri: Otonom araçlarda, "anayasal" bir yaklaşım karar verme için hiyerarşik kurallar tanımlayabilir. Örneğin, "insan güvenliği trafik verimliliğinden önce gelir" diyen bir kural, karmaşık yol sahnelerini analiz ederken modele rehberlik edebilir ve nesne algılama sonuçlarının güvenliğin ön planda tutularak yorumlanmasını sağlayabilir.

Link to this sectionGörüntü YZ'sinde Politika Denetimlerinin Uygulanması#

Tam kapsamlı Anayasal YZ eğitimi karmaşık geri bildirim döngüleri içerse de, geliştiriciler güvenlik politikalarına dayalı çıktıları filtrelemek için çıkarım sırasında "anayasal denetimler" kavramını uygulayabilirler. Aşağıdaki örnek, nesneleri algılamak için YOLO26 kullanımını ve bir güvenilirlik anayasasını taklit ederek düşük güvenli algılamaları filtrelemek için bir güvenlik kuralı uygulanmasını göstermektedir.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

Link to this sectionAnayasal YZ vs. Geleneksel RLHF#

Anayasal YZ'yi standart İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) yönteminden ayırmak önemlidir.

• Ölçeklenebilirlik: RLHF, model çıktılarını derecelendirmek için çok büyük miktarda insan emeği gerektirir, bu da pahalı ve yavaştır. Anayasal YZ bunu YZ ajanları ile otomatikleştirerek son derece ölçeklenebilir hale getirir.
• Şeffaflık: RLHF'de model, opak bir "ödül sinyalinden" (bir puan) öğrenir, bu da bir davranışın neden tercih edildiğini bilmeyi zorlaştırır. Anayasal YZ'de, eleştiri aşamasında kullanılan düşünce zinciri istemleri, mantığı açık hale getirir ve belirli yazılı ilkelere kadar izlenebilir kılar.
• Tutarlılık: İnsan derecelendiriciler tutarsız veya yanlı olabilir. Yazılı bir anayasa, YZ etiği için istikrarlı bir temel sağlayarak uyum sürecindeki öznelliği azaltır.

Link to this sectionUyumun Geleceği#

Modeller Yapay Genel Zekaya (AGI) doğru evrildikçe, Anayasal YZ gibi güçlü uyum stratejilerinin önemi artmaktadır. Bu yöntemler, NIST YZ Güvenlik Enstitüsü gibi kuruluşlardan gelen gelişmekte olan standartlara uyum sağlamak için gereklidir.

Ultralytics Platformu, veri yönetimini ve model izlemeyi kolaylaştırarak sorumlu YZ sistemlerinin oluşturulmasına olanak tanıyan araçlar sunar. Kuruluşlar, veri toplamadan model dağıtımına kadar bu etik hususları YZ geliştirme yaşam döngüsüne entegre ederek riskleri azaltabilir ve teknolojilerinin topluma olumlu katkıda bulunmasını sağlayabilirler.